3.1 编译uprobe+ebpf模块

uprobe和eBPF结合使用，可以实现对用户态程序的动态跟踪和性能分析，而无需修改程序源代码或重启进程。

它们的组合使用流程如下:

uprobe在用户态程序的指定位置插入探测点，当程序执行到该处时会触发uprobe事件。

触发的uprobe事件将执行eBPF程序，该程序是事先编写并加载到内核中的。

eBPF程序可以访问uprobe传递的上下文信息，如函数参数、局部变量等，也可以调用辅助函数统计数据。

eBPF程序处理完成后，将统计数据写入eBPF map或perf buffer，用户态程序可以读取并分析这些数据。

一些使用uprobe+eBPF的开源工具:

bcc: BPF Compiler Collection，提供了大量uprobe+eBPF的案例和工具集bpftrace: 专为eBPF打造的高级跟踪语言和工具libbpf: eBPF程序加载运行库，结合uprobe API可定制开发跟踪工具

3.2 ebpf源码

下面是一个记录用户堆栈信息的ebpf的代码:

#include <unistd.h>

#include <linux/sched.h>

#include <linux/ptrace.h>

#include <linux/bpf.h>

#include <linux/perf_event.h>

#include <bpf/bpf_helpers.h>

#include <bpf/bpf_tracing.h>

// Define stack data map.

struct bpf_map_def SEC("maps") stack_map = {

.type = BPF_MAP_TYPE_STACK_TRACE,

.key_size = sizeof(__u32),

.value_size = PERF_MAX_STACK_DEPTH * sizeof(__u64),

.max_entries = 10000,

};

SEC("uprobe/StackPrint")

int printForRoot(struct pt_regs *ctx)

{

int ret;

// Get the user stack and print it to the kernel log.

ret = bpf_get_stackid(ctx, &stack_map, BPF_F_USER_STACK);

if (ret < 0) {

bpf_printk("Stack error: %d", ret);

return 0;

}

// Print the stack to the kernel log.

bpf_printk("Stack id: %d", ret);

return 0;

}

/* 定义 LICENSE */

char LICENSE[] SEC("license") = "GPL";

这是一段 eBPF (extended Berkeley Packet Filter) 程序的代码，用于在 Linux 内核中跟踪和打印用户空间程序的调用栈信息。

头文件引入了必要的 Linux 内核头文件和 eBPF 辅助函数库。

定义了一个名为 stack_map 的 eBPF map，类型为 BPF_MAP_TYPE_STACK_TRACE，用于存储调用栈信息。

使用 SEC("uprobe/StackPrint") 宏定义了一个 uprobe 类型的 eBPF 程序 printForRoot，当被追踪的用户程序执行到特定位置时会触发该程序。

在 printForRoot 函数中:

通过 bpf_get_stackid 函数获取当前用户空间程序的调用栈，并将栈 ID 存储在 stack_map 中。使用 bpf_printk 函数将栈 ID 打印到内核日志中。

最后使用 char LICENSE[] SEC("license") = "GPL"; 定义了该 eBPF 程序使用的许可证类型为 GPL。

3.3 用户空间源码

用户空间需要负载加载ebpf程序到内核中，并且读取bpf map数据，然后打印，借助libbpf库实现，如下：

#include <stdio.h>

#include <stdlib.h>

#include <unistd.h>

#include <bpf/bpf.h>

#include <bpf/libbpf.h>

#include <bfd.h>

static void print_stack(uint64_t *ips)

{

static bool warned;

int i;

for (i = 126; i >= 0; i--) {

if (!ips[i]) {

continue;

}

printf("0x%lx;", ips[i] - 0x555555554000ul);

/* 解析符号, 使用bfd */

}

printf("\n");

}

int main(int argc, char **argv)

{

struct bpf_link *link;

struct bpf_program *prog;

struct bpf_object *obj;

int map_fd;

int count = 0;

uint32_t key = 0, next_key = 0;

uint64_t value[127] = { 0};

link = NULL;

prog = NULL;

obj = NULL;

// 读取 BPF 程序

obj = bpf_object__open_file("./output/ebpf/ebpf_print.o", NULL);

if (libbpf_get_error(obj)) {

fprintf(stderr, "Error opening BPF object file.\n");

return 1;

}

// 加载 BPF 对象到内核

if (bpf_object__load(obj)) {

fprintf(stderr, "Error loading BPF object file.\n");

bpf_object__close(obj);

return 1;

}

// 加载 uprobe 处理函数

prog = bpf_object__find_program_by_title(obj, "uprobe/StackPrint");

if (!prog) {

fprintf(stderr, "Error finding uprobe program.\n");

goto cleanup;

}

// dump BPF 程序

printf("BPF program try to attach uprobe:\n");

// 将 BPF 程序附加到 uprobe 点, 获取readline的返回值

link = bpf_program__attach_uprobe(prog, true, -1, "./output/bin/anmk_ebpf_test", 0xa286);

if (libbpf_get_error(link)) {

fprintf(stderr, "Error attaching uprobe.\n");

goto cleanup;

}

// 读取和处理 uprobe 事件

map_fd = bpf_object__find_map_fd_by_name(obj, "stack_map");

while (count < 100) {

// 读取 bpf map数据

sleep(1);

printf("Read stack map data:\n");

while (bpf_map_get_next_key(map_fd, &key, &next_key) == 0) {

bpf_map_lookup_elem(map_fd, &next_key, &value);

print_stack(value);

bpf_map_delete_elem(map_fd, &next_key);

key = next_key;

}

count++;

}

cleanup:

if (link) {

bpf_link__destroy(link);

}

if (obj) {

bpf_object__unload(obj);

bpf_object__close(obj);

}

return 0;

}

这部分代码是一个用户空间程序，用于加载和运行前面提到的 eBPF 程序，并读取和处理 eBPF 程序生成的调用栈信息。

引入了必要的头文件，包括标准 C 库、libbpf 库和 bfd 库（用于解析符号信息）。

定义了 print_stack 函数，用于打印 eBPF 程序生成的调用栈信息。目前只打印了指令地址，符号解析部分还未实现。

在 main 函数中:

使用 bpf_object__open_file 函数打开编译好的 eBPF 目标文件。使用 bpf_object__load 函数将 eBPF 对象加载到内核中。使用 bpf_object__find_program_by_title 函数查找名为 “uprobe/StackPrint” 的 eBPF 程序。使用 bpf_program__attach_uprobe 函数将 eBPF 程序附加到指定的用户空间程序 (“./output/bin/anmk_ebpf_test”) 的指定位置 (0xa286)。进入一个循环，每隔 1 秒读取 eBPF map 中的调用栈数据，并使用 print_stack 函数打印调用栈信息。循环 100 次后退出循环，清理资源并退出程序。

在 cleanup 标签处，销毁 eBPF 链接，卸载 eBPF 对象，并关闭 eBPF 对象文件。

3.4 ebpf编译

ebpf程序编译需要用到clang编译器，cmake编译脚本如下所示：

# 查找Clang编译器和llvm-link工具, 用于eBPF编译

find_program(CLANG_EBPF_COMPILER clang)

if(NOT CLANG_EBPF_COMPILER)

message(FATAL_ERROR "Clang compiler or llvm-link tool not found for eBPF compilation")

endif()

# 查找LLVM工具, link, opt, llc, objcopy

find_program(LLVM_LINK_TOOL llvm-link)

if (NOT LLVM_LINK_TOOL)

message(FATAL_ERROR "LLVM link tool not found")

endif()

find_program(LLVM_OPT opt)

if (NOT LLVM_OPT)

message(STATUS "LLVM opt tool not found")

endif()

find_program(LLVM_LLC llc)

if (NOT LLVM_LLC)

message(STATUS "LLVM llc tool not found")

endif()

find_program(LLVM_OBJCOPY llvm-objcopy)

if (NOT LLVM_OBJCOPY)

message(FATAL_ERROR "LLVM objcopy tool not found")

endif()

# 设置eBPF C文件

set(EBPF_SOURCES

print.c

)

# 设置编译选项

set(EBPF_C_FLAGS

-O2 # 优化级别

-m64 # 64位

-U __GNUC__ # 不包含__GNUC__宏定义

-D__TARGET_ARCH_x86 # 定义__TARGET_ARCH_x86宏

-D__x86_64__ # 定义__TARGET_ARCH_x86_64宏

# -mstack-alignment=16 # 栈对齐16字节

# -isystem /usr/include/x86_64-linux-gnu # 包含系统头文件目录

-idirafter /usr/lib/llvm-14/lib/clang/14.0.0/include

-idirafter /usr/local/include

-idirafter /usr/include/x86_64-linux-gnu

-idirafter /usr/include

-target bpf # 目标平台

-march=bpf # 指定BPF指令集

-Wall # 显示所有警告

-Werror # 警告转为错误

-Wno-unused-value # 不显示未使用的值警告

-fno-asynchronous-unwind-tables # 不生成异步取消表

-fno-jump-tables # 不生成跳转表

-fno-stack-protector # 不生成栈保护

#-fno-builtin # 不使用内建函数

#-nostdinc # 不包含标准头文件

)

# 设置eBPF IR文件

set(EBPF_BC_FILES)

# 编译eBPF IR文件

foreach(ebpf_file ${EBPF_SOURCES})

# 成功编译的eBPF IR文件加入列表

get_filename_component(ebpf_file_we ${ebpf_file} NAME_WE)

execute_process(

COMMAND ${CLANG_EBPF_COMPILER} ${EBPF_C_FLAGS} -emit-llvm -c ${ebpf_file} -o ${ebpf_file_we}.bc

WORKING_DIRECTORY ${CMAKE_CURRENT_SOURCE_DIR}

RESULT_VARIABLE CMD_RESULT

COMMAND_ECHO STDOUT

)

if (NOT CMD_RESULT EQUAL 0)

message(FATAL_ERROR "Failed to compile eBPF IR file ${ebpf_file}: ${CMD_RESULT}")

endif()

list(APPEND EBPF_BC_FILES ${ebpf_file_we}.bc)

endforeach()

# 如果没有eBPF IR文件, 则退出

if(NOT EBPF_BC_FILES)

message(FATAL_ERROR "No eBPF IR files generated")

endif()

# 链接eBPF IR文件到一个目标文件

execute_process(

COMMAND ${LLVM_LINK_TOOL} -o ebpf_combined.bc ${EBPF_BC_FILES}

WORKING_DIRECTORY ${CMAKE_CURRENT_SOURCE_DIR}

COMMAND_ECHO STDOUT

)

# 优化eBPF IR文件

execute_process(

COMMAND ${LLVM_OPT} -O2 -o ebpf_combined_opt.bc ebpf_combined.bc

WORKING_DIRECTORY ${CMAKE_CURRENT_SOURCE_DIR}

COMMAND_ECHO STDOUT

)

# 生成eBPF字节码

execute_process(

COMMAND ${LLVM_LLC} -march=bpf -filetype=obj ebpf_combined_opt.bc -o ebpf_program.o

WORKING_DIRECTORY ${CMAKE_CURRENT_SOURCE_DIR}

COMMAND_ECHO STDOUT

)

# 安装eBPF字节码到指定目录

execute_process(

COMMAND ${CMAKE_COMMAND} -E copy ebpf_program.o ${TOPDIR}/output/ebpf/ebpf_print.o

WORKING_DIRECTORY ${CMAKE_CURRENT_SOURCE_DIR}

COMMAND_ECHO STDOUT

)

eBPF 程序的编译流程如下：

查找 Clang 编译器和 LLVM 工具链，Clang 编译器用于编译 eBPF 程序。LLVM 工具链中的 llvm-link、opt、llc 和 llvm-objcopy 工具，用于链接、优化和生成 eBPF 字节码。

设置 eBPF C 源文件和编译选项，指定 eBPF 程序的 C 源文件列表 (EBPF_SOURCES)，以及设置 eBPF 程序的编译选项 (EBPF_C_FLAGS)，包括优化级别、目标平台、包含路径等。

编译 eBPF C 源文件为 LLVM IR（中间表示），遍历 eBPF C 源文件列表，对每个文件执行以下步骤：

使用 Clang 编译器将 C 源文件编译为 LLVM IR 文件 (.bc)。

如果编译成功，将生成的 .bc 文件添加到 EBPF_BC_FILES 列表中。

如果没有成功编译任何 eBPF C 源文件，则报错并退出。

链接 LLVM IR 文件，使用 llvm-link 工具将所有生成的 .bc 文件链接到一个名为 ebpf_combined.bc 的文件中。

优化 LLVM IR，使用 opt 工具对 ebpf_combined.bc 进行优化，生成优化后的 LLVM IR 文件 ebpf_combined_opt.bc。

生成 eBPF 字节码，使用 llc 工具将优化后的 LLVM IR 文件编译为 eBPF 字节码，生成目标文件 ebpf_program.o。

安装 eBPF 字节码，将生成的 eBPF 字节码文件 ebpf_program.o 复制到指定的输出目录 (${TOPDIR}/output/ebpf/ebpf_print.o)。

编译成功之后，会生成一个ebpf elf文件，如下所示：

ubuntu->ANMK_netdog:$ readelf -h output/ebpf/ebpf_print.o

ELF Header:

Magic: 7f 45 4c 46 02 01 01 00 00 00 00 00 00 00 00 00

Class: ELF64

Data: 2's complement, little endian

Version: 1 (current)

OS/ABI: UNIX - System V

ABI Version: 0

Type: REL (Relocatable file)

Machine: Linux BPF

Version: 0x1

Entry point address: 0x0

Start of program headers: 0 (bytes into file)

Start of section headers: 688 (bytes into file)

Flags: 0x0

Size of this header: 64 (bytes)

Size of program headers: 0 (bytes)

Number of program headers: 0

Size of section headers: 64 (bytes)

Number of section headers: 9

Section header string table index: 1

3.5 运行和输出

用户空间的程序使用Gcc正常编译即可，然后运行进行测试和验证：

ubuntu->ANMK_netdog:$ sudo ./output/bin/anmk_uprobe_print

libbpf: elf: skipping unrecognized data section(6) .rodata.str1.1

BPF program try to attach uprobe:

Read stack map data:

0x2a3cced16d90;0xb934d0717f;0x2a3ccef1e302;0x2a3ccef1dd54;0x2a3ccef1da7e;0xb934d0704a;0xb934d06d59;0xb934d06b68;

0x2a3cced16d90;0xb934d0717f;0x2a3ccef1e302;0x2a3ccef1dd54;0x2a3ccef1da7e;0xb934d068dc;0xb934d06751;

0x2a3cced16d90;0xb934d0717f;0x2a3ccef1e302;0x2a3ccef1dd54;0x2a3ccef1da7e;0xb934d0704a;0xb934d06d0f;0xb934d06b68;

......

可以看到，用户空间的程序正常将bpf map中的数据读取出来，但是没有转换为符号名称，因为这些地址都是虚拟地址，需要二次转换才能通过addr2line转换为符号地址。

在/sys/kernel/debug/tracing/trace_pipe中，也可以读取到如下输出：

ubuntu->~:$ sudo cat /sys/kernel/debug/tracing/trace_pipe

anmk_ebpf_test-1853091 [002] d...1 20451764.633240: bpf_trace_printk: Stack id: 15475

anmk_ebpf_test-1853091 [002] d...1 20451764.633287: bpf_trace_printk: Stack id: 15475

anmk_ebpf_test-1853091 [002] d...1 20451764.633320: bpf_trace_printk: Stack id: 15475

anmk_ebpf_test-1853091 [002] d...1 20451764.633355: bpf_trace_printk: Stack id: 15475

anmk_ebpf_test-1853091 [002] d...1 20451764.633394: bpf_trace_printk: Stack id: 15475

.....

4. 总结

本文简单的根据uprobe文档实际操作了一波，见识到了uprobe的作用，但是离实际应用还有一段较大的距离，uprobe和ebpf这些工具使用，最大的阻碍在于内核的熟悉度，因为无法使用常见的标准库功能，比如堆栈打印和数据获取，这就必须从虚拟内存映射出发，在内核里面解析出对应的实际偏移量。

想要熟练的使用这些工具，必须深入学习Linux源码和相关的例子，门槛还是很高，道阻且长！