FUZZ测试总结
FUZZ测试总结
Fuzzing简介
模糊测试（fuzzing test）是一种软件测试技术，其核心思想是将自动或半自动生成的随机数据输入到一个程序中，并监视程序异常，如崩溃，断言（assertion）失败，以发现可能的程序错误，比如内存泄漏，访问越界等。
Fuzzing测试框架使用了LLVM编译器框架中的libFuzzer作为Fuzzing引擎进行构建，libFuzzer是一个基于LLVM编译时路径插桩，可以对被测库API进行路径引导测试的Fuzzing引擎。
使用Fuzzing测试框架，需要完成fuzzer测试用例初始化、fuzzer用例编写、fuzzer用例编译和fuzzer用例执行几步。
Fuzzing测试关注的风险接口
开发者应该了解自身模块的接口数据输入是基于不可信的来源输入，特别是针对
- 解析处理远程发送来的TCP/UDP或者蓝牙等协议数据
- 通过复杂的文件解码处理等，包括音视频、图片解码、解压缩等
- IPC跨进程的数据输入处理
通过Fuzzing的覆盖引导能力，可以有效的探测和消减外部输入造成的内存安全问题，也可以极大的增强系统稳定性。
环境配置
将toolchains添加在环境变变中：
在cmd中用hdc_std shell检测
安装Linux扩展组件readline，安装命令如下：
sudo apt-get install libreadline-dev
安装setuptools插件，安装命令如下：
pip3 install setuptools
安装paramiko插件，安装命令如下：
pip3 install paramiko
安装python的rsa插件，安装命令如下：
pip3 install rsa
安装串口插件pyserial，安装命令如下：
pip3 install pyserial
如果设备仅支持串口输出测试结果，则需要安装NFS Server
- Windows环境下安装，例如安装haneWIN NFS Server1.2.50。
- Linux环境下安装，安装命令如下：
sudo apt install nfs-kernel-server
启动测试框架
root@ubuntu:/home/OpenHarmony/test/developertest#
./start.sh
Please select the current tested product form:
-
xxx
-
xxx
-
xxx
（输入对应数字的产品；回车）
或者
在Windows下点击start.bat;
输入输入对应数字的产品；回车
生成测试目录
Fuzz用例初始化
>>> gen -t FUZZ -fn xxx_fuzzer -dp fuzztest/
>>> gen -t FUZZ -fn xxx_fuzzer -dp fuzztest/
>>> quit
在Windows下：
>>> gen -t FUZZ -fn xxx_fuzzer -dp D:\xxx\xxx
>>> gen -t FUZZ -fn xxx_fuzzer -dp D:\file_work
执行gen命令用于fuzzer源文件生成，会自动生成fuzzer源文件、fuzzer配置文件和corpus语料，目录结构如下：
xxx_fuzzer/
├── corpus # Fuzz语料目录
│ ├── init # Fuzz语料
├── BUILD.gn # Fuzz用例编译配置
├── xxx_fuzzer.cpp # Fuzz用例源文件
├── xxx.h # Fuzz用例头文件
├── project.xml # Fuzz选项配置文件
命令参数说明，参数可以指定fuzzer名称和fuzzer路径
gen -t TESTTYPE -fn FUZZERNAME -dp DIRECTORYPATH
| 参数 | 描述 | 说明 | 备注 |
|---|---|---|---|
| -t | testtype | 测试类型 | 目前仅支持"FUZZ" |
| -fn | fuzzername | fuzzer名称 | 为显式区分Fuzz用例，名称必须以测试套前缀小写 + _fuzzer形式命名 |
| -dp | dirpath | fuzzer生成路径 | 路径不存在则自动创建目录 |
gen命令的参数-t、-fn和-dp均为必选项；
Fuzz用例编写
注意：更改每个文件注释里的年份为当年！！！
源文件编写
Fuzz用例主要在{fuzzer名称}.cpp源文件中，一个Fuzz用例仅支持一个接口进行fuzz测试。
源文件包含两个接口：
| 接口 | 说明 |
|---|---|
| LLVMFuzzerTestOneInput | Fuzz入口函数，由Fuzz框架调用 |
| DoSomethingInterestingWithMyAPI | 被测试接口，实现各业务被测试逻辑 |
说明： DoSomethingInterestingWithMyAPI接口名称允许依据业务逻辑修改。两接口参数data和size为fuzz测试标准化参数，不可修改。
#include <stddef.h>
#include <stdint.h>
#include "xxx_fuzzer.h"
void OHOS::xxx::xxxTest(const uint8_t* data, size_t size)
{
if ((data == nullptr) || (size <= 0)) {
return;
}
XXX xxx;
size -= sizeof(uint32_t);
xxx.WriteBuffer(data + sizeof(uint32_t), size);
xxx.RewindRead(0);
XXXX xxxx;
xxxx.Marshalling(xxx);
xxxx.Unmarshalling(xxx);
}
/* Fuzzer entry point */
extern "C" int LLVMFuzzerTestOneInput(const uint8_t* data, size_t size)
{
/* Run your code on data */
OHOS::xxx::xxxxTest(data, size);
return 0;
}
头文件编写
#ifndef OHOS_xxx_FUZZER_H
#define OHOS_xxx_FUZZER_H
#include <cstdint>
#include <cstdio>
#include <cstdlib>
#include <fcntl.h>
#include <unistd.h>
#define FUZZ_PROJECT_NAME "xxx_fuzzer"
namespace OHOS::xxx{
void xxxTest(const uint8_t* data, size_t size);
}
#endif
BUILD.gn编写
#####################hydra-fuzz###################
import("//build/config/features.gni")
import("//build/test.gni")
module_output_path = "xxx/xxx"
##############################fuzztest##########################################
ohos_fuzztest("xxxFuzzTest") {
module_out_path = module_output_path
fuzz_config_file =
"//foundation/xxx/xxx/xxx_fuzzer"
include_dirs = [
"//foundation/xxx/xxx/test/fuzztest"
]
cflags = ["-g","-O0","-Wno-unused-variable","-fno-omit-frame-pointer"]
sources = [
"xxx_fuzzer.cpp",
]
deps = [
"//foundation/xxx/xxx:xxx",
"//utils/native/base:utils"
]
external_deps = [
"xxx:xxx",
]
}
group("fuzztest") {
testonly = true
deps = []
deps += [
# deps file
":xxxFuzzTest",
]
}
基于[ohos_fuzztest]配置Fuzz模板，例如：
ohos_fuzztest("xxxFuzzTest") { #定义测试套名称CalculatorFuzzTest
module_out_path = module_output_path
include_dirs = [
]
cflags = ["-g","-O0","-Wno-unused-variable","-fno-omit-frame-pointer"]
sources = [
"xxx_fuzzer.cpp",
]
}
[group]引用测试套，例如：
group("fuzztest") {
testonly = true
deps = []
deps += [
# deps file
":xxxFuzzTest", #引用测试套
]
}
Fuzz配置编写
project.xml为DTFuzz参数配置文件，提供基于libFuzzer参数的动态配置，更多参数配置可参考：
https://llvm.org/docs/LibFuzzer.html#options
<!-- maximum length of a test input -->
<max_len>1000</max_len>
<!-- maximum total time in seconds to run the DTFuzz -->
<max_total_time>300</max_total_time>
<!-- memory usage limit in Mb -->
<rss_limit_mb>4096</rss_limit_mb>
用例编写中常见的强制转换
int32_t xxx= *(reinterpret_cast<const int32_t*>(data));
bool xxx= *(reinterpret_cast<const bool*>(data));
std::string xxx(reinterpret_cast<const char*>(data), size);
Fuzz用例编译
添加Fuzz用例编译到模块的test_list中：
在需要DTFuzz测试的对应模块bundle.json中添加Fuzz用例路径，如在bundle.json添加：
"tests": [
"//foundation/xxx/xxx/test/unittest:unittest",
"//foundation/xxx/xxx/test/fuzztest:fuzztest", #添加DTFuzz用例路径
]
在用例路径下的BUILD.gn添加group，如examples/calculator/test的BUILD.gn
group("fuzztest") {
testonly = true
deps = []
deps += [ "fuzztest/xxx_fuzzer:fuzztest" ]
}
编译命令：
./build.sh --product-name rk3568 --export-para PYCACHE_ENABLE:true --ccache --build-target xxx_test
上32位，下64位；
./build.sh --product-name rk3568 --ccache --target-cpu arm64 --build-target xxx_test
#单独生成group的测试用例
./build.sh --product-name rk3568 --build-target xxxFuzzTest
生成测试用例位置：
root@ubuntu:/home/xxx/OpenHarmony/out/rk3568/tests/fuzztest/xxx/xxx#
windows下测试用例位置：
D:\file_work\22.6.25(FuzzTest)\tests\fuzztest\xxx\xxx
添加路径：D:\file_work\22.6.25(FuzzTest)\developertest\config下的user_config.xml文件
<test_cases>
<dir>D:\file_work\22.6.25(FuzzTest)\tests</dir>
</test_cases>
修改D:\file_work\22.6.25(FuzzTest)\developertest\config下的user_config.xml文件(非必要)
<testcase>false</testcase>
(重要)在D:\file_work\22.6.25(FuzzTest)\tests\res目录下：
添加xxx_fuzzer（测试用例目录）
......
复制两文件到本地
/home/si/openharmony/test$ ls
将developertest和xdevice复制到D:\file_work\22.6.13(test)
#########################################
## Fuzz用例执行
执行前需要重新全量编译+烧录rk3568
全量编译+烧录操作看笔记
运行start.bat文件闪退
熟悉流程可以执行下一步操作
修改start.bat文件（非必要操作）
@echo off
set BASE_HOME_PATH=%CD%
@echo start time is:
TIME /T
cd %BASE_HOME_PATH%\src
python -m main %1
cd %BASE_HOME_PATH%
@echo finish time is:
TIME /T
@echo on
参考启动测试框架
Fuzz能力集成，在测试类型-t中新增FUZZ类型，执行Fuzz测试指令示例，其中-t为必选，-ss和-tm为可选
run -t FUZZ -ss developertest -tm calculator
| 参数 | 描述 | 说明 | 备注 |
| ---- | ---------- | -------- | ------------------------ |
| -t | TESTTYPE | 测试类型 | |
| -ss | SUBSYSTEM | 子系统 | 被测试子系统 |
| -tm | TESTMODULE | 模块 | 被测试模块，如calculator |
执行测试框架：
运行start.bat,输入3，回车（或选择rk3568回车）
执行DTFuzz命令示例：（不加单个测试用例就是全跑）
run -t FUZZ -ts CalculatorFuzzTest
run -t FUZZ
（可选）
在cmd中运行:
hdc_std shell
运行之后输入top查看测试进程运行时间：
top
## 测试结果与日志
- 通过在测试框架中执行测试指令，即可以生成测试日志和测试报告。
路径：D:\file_work\22.6.25(FuzzTest)\developertest\reports
- 测试结果
测试用例的结果会直接显示在控制台上，执行一次的测试结果根路径如下：
reports/xxxx-xx-xx-xx-xx-xx
测试用例格式化结果
result/
测试用例日志
log/plan_log_xxxx-xx-xx-xx-xx-xx.log
测试报告汇总
summary_report.html
测试报告详情
details_report.html
最新测试报告
reports/latest