evr 使用指南

Probe VXLAN SrcIP Spoof evr 是面向 EVR（Edge Virtual Router）设备的链路探测工具。它向一个或多个 EVR VTEP 发送 UDP/VXLAN 探测包，每个探测包内层都封装了一个完整的以太网/IPv4/UDP 帧；EVR 在收到 VXLAN 后会把内层帧"反射"回探测端。evr 通过解析反射回来的内层帧来评估 EVR 设备的丢包、延迟、bitflip。

evr 的核心是一种"自环内层帧"设计：内层 src IP 与 dst IP 都填本机地址（这样 EVR 反射回来的报文会落到本机的 raw socket），同时把"原本要写在内层 src IP 上的 EVR 源 IP"嵌入在 payload，回包时按 payload 中的 IP 直接定位回原始目标，避免维护 5 元组映射。

EVR 设备的工作模型是 VXLAN VTEP：从外层 UDP/4789 收 VXLAN，把内层以太网帧解封后按内层 IP 头继续转发。如果按"自然"的设计去探测：

• 探测端 → EVR：内层 src IP = 探测端，dst IP = 真实业务地址
• EVR 反射回来后，需要靠 (srcIP, dstIP, srcPort, dstPort) 5 元组反查原始目标

这种设计在多目标场景下要维护一张端口/IP 反查表，且 ECMP 哈希会把回包打散到本机不同 IP 上，处理起来很复杂。evr 用了一个反直觉但极其精简的方案：

报文匹配流程

evr 完整探测包从外到内分为四层：

EVRCHECK 协议头（28 B 固定 + Salt 填充）

Salt 由 util.Salts 生成，与 baize/kuiniu 一致；回包时若 payload 长度等于发送长度，则与对应 Salt 比对，命中差异即记一条 [client bitflip] 日志。

evr 主要面向数据中心网络中部署了 EVR/VTEP 的虚拟网络环境：

三者都用于"长期常驻 + JSON 配置驱动 + 共享 stat/log 体系"的网络探测，但探测对象与封装层次差别很大：

从源码编译

# 克隆仓库
git clone https://github.com/baidu/nettools.git
cd nettools

# 编译全部工具
make compile

# 或单独编译 evr
make build-evr
go build -o evr ./cmd/evr/

使用 GoReleaser 构建发行版

# 本地测试构建 (snapshot)
make snapshot

# 正式发布 (需要 git tag + GITHUB_TOKEN)
git tag v0.5.0
make deploy

支持的平台

1. 准备配置

仓库 cmd/evr/evr.example.json 提供了一份脱敏的示例配置。每一项 target 用 vtep#evrSrc[#mockSrc] 三段式表达：

{
  "id": "evr-probe-1",
  "client_addr": "203.0.113.10",
  "targets": "198.51.100.96#192.0.2.1#203.0.113.99,198.51.100.97#192.0.2.2#203.0.113.99",
  "vni": 15990000,
  "tos": 64,
  "ttl": 64,
  "client_port_range": "63000,63999",
  "rate_in_span": 2000,
  "span": "1s",
  "delay": "5s",
  "msg_len": 1024,
  "log_dir": "./log",
  "log_max_age_days": 3
}

2. 启动 evr

# 使用配置文件启动（推荐）
sudo ./evr -c /etc/evr/evr.json

# 也可以全部用命令行参数（临时排查）
sudo ./evr \
  --client-addr 203.0.113.10 \
  --targets 198.51.100.96#192.0.2.1#203.0.113.99 \
  --rate-in-span 2000 \
  --span 1s

3. CLI 覆盖配置文件

所有 CLI 参数在显式传入时会覆盖 JSON 配置中的同名字段（pflag.Visit 模式），便于自动化系统按需调整：

sudo ./evr -c /etc/evr/evr.json \
  --rate-in-span 5000 \
  --verbose

顶层字段

targets 三段式

所有 CLI 参数都对应 JSON 配置中同名字段，显式传参时会覆盖 JSON：

探测一台 EVR（最小用法）

sudo ./evr \
  --client-addr 203.0.113.10 \
  --targets 198.51.100.96#192.0.2.1 \
  --msg-len 1024

多 EVR 并发探测 + 共享 mock_src

sudo ./evr \
  --client-addr 203.0.113.10 \
  --targets "198.51.100.96#192.0.2.1#203.0.113.99,198.51.100.97#192.0.2.2#203.0.113.99" \
  --client-port-range 63000,63999 \
  --rate-in-span 2000 \
  --span 1s \
  --msg-len 1024

所有 target 都通过 203.0.113.99 这个 mock 源 IP 出去，让网络上看到的 evr 探测身份统一。

带 TOS/DSCP 标记 + BPF 过滤

sudo ./evr -c /etc/evr/evr.json \
  --tos 64

外层和内层 IP 头都打上 TOS=64；BPF 也按 TOS=64 过滤回包，避免接收到不相关的 UDP 流量。

开启 pprof 排查发送瓶颈

sudo ./evr -c /etc/evr/evr.json \
  --pprof ":6060"

# 然后用 go tool pprof 拉 cpu profile
go tool pprof http://localhost:6060/debug/pprof/profile?seconds=30

verbose 排查丢包

sudo ./evr -c /etc/evr/evr.json --verbose

开启后丢包条目会列出每个 srcPort 的发送/接收次数，便于发现"特定端口（即特定 ECMP 哈希值）持续丢包"的故障。

日志由 util.RotateWriter 按天轮转，与 baize / kuiniu 共用同一份实现：

{
  "log_dir": "/var/log/evr",
  "log_max_age_days": 3
}

启动后日志目录形如：

/var/log/evr/
├── evr.log -> evr.log.20260611    # 当日符号链接
├── evr.log.20260611
└── evr.log.20260610

Q: 为什么内层 src 和 dst 都设为本机 IP？

这样 EVR 反射回来的内层帧 dst 就是本机，本机 raw socket 直接收得到，无需在对端起 server，也不需要单独申请回包用的 IP。这是 evr 的核心"巧妙设计"，详见第 2 节。

Q: 那"哪个 EVR 反射回来的"怎么区分？

把目标 EVR 的源 IP 嵌进 payload 第 24~28 字节，回包解析后用 peerByEVRSrc[ip] 一步定位到 target，不再需要 5 元组反查表。

Q: mock_src 是怎么生效的？为什么内核不会把它改回去？

evr 在写端用 ipv4.NewRawConn(conn) 包了一层，等价于打开 IP_HDRINCL。开启后内核不再自己生成 IP 头，而是原样发出我们手工拼好的外层 IPv4 头——其中 src 就是 mock_src。如果不包这一层，内核会前置一份它自己的 IP 头，导致双层 IP 封装且 mock_src 失效。

Q: rate_in_span 是单 target 速率还是总速率？

是所有 target 总速率。12 个 target、rate_in_span=2000/s，每个 target 平均 ~166 pps。要提高单 target 速率，可以减少 target 数量或调大 rate_in_span。

Q: BPF 过滤都过滤了哪些字段？

读 socket 的 BPF 程序匹配两个条件：(1) IPv4 协议号 = UDP；(2) IPv4 TOS = cfg.tos；(3) UDP 目的端口 = inner_dst_port。三个条件同时命中才放行，确保不被同机器其他 UDP 流量打扰。写 socket 上则装一个"全丢"的 BPF，以阻止内核给这个发送 socket 排队任何回包。

Q: 4 种 Salt 模式为什么这么选？

0xFF 全 1 暴露任何变 0 的位翻转；0x00 全 0 暴露任何变 1 的位翻转；0x5A 交替位 (01011010) 适合 NIC 串行链路上的奇偶错误；互补 0xAAAA / 0x5555 专门覆盖 1's complement 校验和漏检的"互补翻转"——这是普通 UDP/TCP checksum 唯一无法察觉的一类 bitflip。

Q: 为什么 evr 要用 sudo？

需要创建 ip4:udp raw socket、启用 IP_HDRINCL、设置 IP TOS/DSCP，且要装 BPF。Linux 上需要 CAP_NET_RAW；最简单的就是 sudo 或 systemd 以 root 启动。

Q: 配置文件改了要重启吗？

需要。evr 不支持热加载。建议 systemd 管理：sudo systemctl restart evr。

Q: 怎么优雅停止？

发送 SIGINT (Ctrl+C) 或 SIGTERM。程序会取消所有 goroutine 并睡眠 1 秒等在途报文回来后退出。

Q: macOS 能跑吗？

仅作为编译/开发环境。运行时 macOS 不允许 ip4:udp raw socket 与 IP_HDRINCL 的组合，会报 socket: operation not permitted。生产请用 Linux。