利用BFG删除git提交历史中的敏感内容、或者文件

包阳成
2023-12-01

有时候,我们在项目的配置文件中,或者单元测试代码中,不小心把一些敏感信息写上了,然后提交到到了github,等我们发现时,即使把敏感信息删除了,奈何还有历史提交,这也会暴露敏感信息。此时,我们可以利用工具BFG来清除历史提交中的敏感信息,有两种方法:

  1. 把配置文件、或者单元测试文件的每个提交的内容中的密码修改掉。
  2. 把配置文件、或者单元测试文件的每个提交都删除,然后我们重新建了配置文件、或者单元测试文件再提交。

BFG工具官网地址

https://rtyley.github.io/bfg-repo-cleaner/

下载工具jar并放入某个目录,路径如:e:/downloads/bfg-1.14.0.jar

前提

要保证仓库的每个分支的最新提交中,是没有敏感信息问题的,就是说,在配置文件或者文件中的敏感内容已经删除,或者敏感文件已经删除,并提交到仓库了。剩下的就是要清除敏感信息,和敏感文件的提交历史记录。

修改法

在工作目录之外,建立一个临时目录:myproj_mirror, 然后

$ cd myproj_mirror

执行如下clone库方法,会在myproj_mirror下生成xx.git目录

$ git clone --mirror  https://github.com/xxx/xx.git

建立一个文本文件,如replacements.txt,根据替换策略,内容如下:

# Replace with ‘***REMOVED***’ (default)
myPwd123

也可以是:

# replace with 'examplePass' instead
#myPwd123==>examplePass

或者是

#replace with the empty string
#myPwd123==> 

然后执行命令,执行后,远程仓库的所有分支的提交记录都会被修改(这个可以观察git push的响应得知)。

$ java -jar e:/downloads/bfg-1.14.0.jar --replace-text replacements.txt xx.git

$ cd xx.git

$ git reflog expire --expire=now --all 

$ git gc --prune=now --aggressive

$ git push

然后查看含有敏感信息的文件的提交历史,就会发现每个历史提交中的敏感信息都被替换成:

***REMOVED***

删除法

对于含有敏感信息的文件,如果是不应该提交到仓库的,那就干脆删除掉此文件的所有提交历史。

在工作目录之外,建立一个临时目录:myproj_mirror, 然后

$ cd myproj_mirror

执行如下clone库方法,会在myproj_mirror下生成xx.git目录

$ git clone --mirror  https://github.com/xxx/xx.git

然后执行命令,执行后,远程仓库的所有分支的提交记录都会被修改(这个可以观察git push的响应得知)。

$ java -jar e:/downloads/bfg-1.14.0.jar --delete-files tobedeleleted.conf xx.git

$ cd xx.git

$ git reflog expire --expire=now --all

$ git gc --prune=now --aggressive

$ git push

收尾

做完上面的工作,回到工作目录后,需要从远程仓库更新本地提交记录,执行如下命令。

$ git fetch origin 

$ git reset --hard origin/first_Branch

$ git reflog expire --expire=now --all

$ git gc --prune=now --aggressive

并且,如果切换到其它分支,也需如此操作。其它用户也是如此。

后记

如果是删除文件的历史记录,还有个工具可以参考,使用更简单

GitHub - TimHeinrich/GitRewrite: Rewrite git history. Faster alternative to git filter-branch or bfg-repo-cleaner to perform certain rewrite tasks on a git repository.

 类似资料: