克隆和分析所有（或尽可能多的）github java项目

Question

1. 获取尽可能多的github java项目，解析其源代码
2. 用类似javaparser的东西提取AST，将这些AST插入NoSQL数据库（可能是neo4j)中，并询问各种静态代码分析查询。

有关第2部分的更多信息：

• graphlr：通过Neo4j图索引antlr3生成的Java AST
• 使用图形数据库进行表达和可伸缩的源代码查询

关于这个项目的第1部分，我有一些麻烦。

我正在考虑使用github api并执行以下操作：

1. 编写获得尽可能多github用户的脚本
2. 对于每个用户，使用language=java获取所有repo，并将它们克隆到ramdisk目录中（以避免磁盘I/O)，并克服空间不足的问题。
3. 分析每个.java文件

这可行吗？你能想出另一种不需要克隆repo（例如解析“在线”java源文件）的方法吗？

我不需要一次解析所有github repo。我将启动并运行neo4j节点，并且能够在合理的时间段内添加节点。

Answer 1

我仔细阅读了GitHubV3 api并取得了进展。

首先，我不需要

1. 编写获得尽可能多github用户的脚本

考虑到上述情况，在GitHub中修补（几乎）每个公共java repo应该需要一些合理的时间。

假设我需要2个api调用来获取一个回购的源代码，我可以在一个下降网络连接下在一个小时内获得3000个java回购。GitHub上有数百万个公共java项目。

我想有几天我会把它们都取出来的。