使用spark streaming从http创建分析
嗨，我的要求是从http://10.3.9.34:9900/messages创建分析，即从http://10.3.9.34:9900/messages中提取数据，并将该数据放入HDFS位置/user/cloudera/flume中，然后从HDFS中使用Tableau或HUE UI创建分析报告。我在CDH5.5的spark-shell的scala控制台尝试了以下代码，但无法从http链接获取数据
import org.apache.spark.SparkContext
val dataRDD = sc.textFile("http://10.3.9.34:9900/messages")
dataRDD.collect().foreach(println)
dataRDD.count()
dataRDD.saveAsTextFile("/user/cloudera/flume")
我在scala控制台遇到以下错误：
java.io.ioException：方案没有文件系统：http在org.apache.hadoop.fs.FileSystem.getfilesystemclass（FileSystem.java:2623)在org.apache.hadoop.fs.FileSystem.createFilesystem（FileSystem.java:2637)在org.apache.hadoop.fs.FileSystem.access$200（FileSystem.java:93)在org.apache.hadoop.fs.FileSystem.access$cache.getinternal（FileSystem.java:2680)在org.apache.hadoop.fs.FileSystem$cache.get(FileSystem.java:2662)在apache.hadoop.fs.FileSystem.get（FileSystem.java:379)在org.apache.hadoop.fs.path.getfilesystem（path.java:296)
共有1个答案
您不能使用httpendpoint作为输入，它需要是诸如hdfs、s3或local之类的文件系统。
您需要一个单独的进程从这个endpoint提取数据，可能使用类似Apache NiFi的东西将数据放置在文件系统上，然后将其用作Spark的输入。
-
我读到DB2不支持限制和偏移量。我还读到您必须使用ROW_NUMBER()和子查询来获得所需的结果。如果这是SQL查询： 其中$offset是偏移量，$rowserPage是我希望在页面上显示的数据库行的数量，这可以等效为DB2查询。
-
我想从CUDA代码（）创建一个. dll，以便从外部C程序中使用这个库。经过一些尝试，我只是在. cu文件中留下了一个简单的C函数。代码如下： kernel.cu 内核.h 我首先尝试使用生成一个对象，然后使用创建DLL，如下所示： 它工作正常，并生成。为了测试DLL文件，我编写了一个简单的程序： 编译方式： 结果是执行开始时的内存访问错误。 然而如果我重新命名。cu文件在。C(因为它只是C代码)
-
我有一个LinkedHashMap，我正在尝试拆分它的键和值，并引用键集中的特定键或值集中的值。例如，假设我有以下LinkedHashMap： 4 |2 3|1 我想要一个函数返回1，这是一个集合中索引为1的值，或者对于索引= 0返回2。对于另一个函数，我想得到键值为3，索引为1的键值。所以基本上从LinkedHashMap创建一个只有值/键的数组，然后在这个数组中寻找某个给定的位置。我的代码如下
-
当我用php artisan命令在Laravel中创建一个控制器时 它创建一个控制器，其中包括 PhpStorm提示：从未使用别名“App\Http\Controllers\Controller”。 这似乎是正确的，因为部分 没有它工作得很好。所以我可以删除“使用应用\Http\控制器\控制器”还是我错过了什么？
-
我需要创建一个带有分页的HTML表。数据来自两个不同的来源（可能是来自两个不同数据库的两个表，比如一个Oracle，另一个是MySQL），您不能使用JOIN select语句。为了使它更复杂，我需要以升序显示按时间戳排序的数据（其中一个属性是timestamp）。 例如，源A有45条记录，源B有55条记录。因此，该表将显示总共100条记录，但一次只显示15条记录。因此必须有7页（6页15条记录，1
-
我正在尝试在Swiftui2.0Xcode 12.4中创建一个WebView视图，但它太新了，我找不到答案和最佳实践的好例子。对于下面的代码，我得到以下错误。 类型SwiftUIWebView不符合协议UIView表示 此外，配置设置已更改，我无法启用。正确地允许使用JavaScript。尝试将其添加到“perfs”会触发一个错误，抱怨不喜欢Bool。