Storm-Server,以 Jetty 为 Servlet 容器的一个 Java Web 框架,主要用于为前端提供 API 服务,具有快速开发的优势。Storm-Server 之后会提供一些操作 MySQL,Redis 的工具,Storm-Server 旨在快速开发一些小型的 Web 应用,以及用于日常学习。欢迎各位 star 和参与开发,Storm-Server 期待你的参与与建议。
引入storm-server依赖(最新版本1.0,后期会跟进升级和维护)
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.github.stormmaybin</groupId> <artifactId>storm-server-test</artifactId> <version>1.0-SNAPSHOT</version> <properties> <storm-server.version>1.0</storm-server.version> </properties> <dependencies> <dependency> <groupId>me.stormma</groupId> <artifactId>storm-server</artifactId> <version>${storm-server.version}</version> </dependency> </dependencies> </project>
添加 storm.properties 配置文件
storm.server.port=8057 # 端口默认为8057 storm.server.module=storm_server_test #模块名 storm.ansi.output.enabled=true # 不同级别日志显示颜色不同
storm-server 默认去 classpath下 读取 storm.properties 配置文件,当然,你也可以指定配置文件的路径和名字,如果你选择这么做了,那么你要在运行启动类时候传入配置文件的完整路径。
例如:假如我的配置文件名字叫 application.properties,放在 resources/config/,,那么你需要在运行启动类(下面会说到)的时候传入参数 'resources/config/application.properties'。
添加 logback.xml
<?xml version="1.0" encoding="UTF-8"?> <configuration> <include resource="logback/base.xml" /> </configuration>
storm-server 使用 logback 日志系统,storm-server 已经提供了 base.xml,你只需要新建 logback.xml,添加 base.xml 即可,当然你也可以加入自己的配置。
启动 storm-server
package com.github.stormmaybin.controller; import me.stormma.StormApplication; import me.stormma.annotation.Application; import me.stormma.annotation.ComponentScan; /** * @description 启动类 * @author stormma * @date 2017/09/15 */ @ComponentScan @Application(StormServerTestApplication.class) public class StormServerTestApplication { public static void main(String[] args) { StormApplication.run(args); } }
新建service
package com.github.stormmaybin.controller.service.impl; import com.github.stormmaybin.controller.model.User; import com.github.stormmaybin.controller.service.ITestService; import me.stormma.ioc.annotation.Service; /** * @description * @author stormma * @date 2017/09/15 */ @Service public class TestService implements ITestService { @Override public User getUserById(int uid) { //模拟dao层操作 User user = new User(); user.setUsername("stormma"); user.setPassword("stormma"); return user; } }
@Service注解声明此类是一个service, 这与spring mvc/boot保持一致
新建 controller
package com.github.stormmaybin.controller.controller; import com.github.stormmaybin.controller.model.User; import com.github.stormmaybin.controller.service.ITestService; import me.stormma.core.http.annotation.Api; import me.stormma.core.http.annotation.JsonParam; import me.stormma.core.http.annotation.RequestParam; import me.stormma.core.http.enums.RequestMethod; import me.stormma.core.http.model.HttpContext; import me.stormma.core.http.response.Response; import me.stormma.core.http.response.builder.ResponseBuilder; import me.stormma.ioc.annotation.AutoWired; import me.stormma.ioc.annotation.Controller; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import java.util.Date; /** * @author stormma * @date 2017/09/15 */ @Controller("/api") public class TestController { @AutoWired private ITestService testService; private static final Logger logger = LoggerFactory.getLogger(TestController.class); /** * 测试无参数情况的数据响应 * @return */ @Api(url = "/hello", method = RequestMethod.GET) public Response<String> hello() { return ResponseBuilder.success("hello storm-server"); } /** * 测试绑定HttpContext * @param context * @return */ @Api(url = "/date", method = RequestMethod.GET) public Response<Date> getCurrentDate(HttpContext context) { logger.info("访问路径:{}", context.requestPath); return ResponseBuilder.success(new Date()); } @Api(url = "/array/int", method = RequestMethod.GET) public Response<String> testIntArray(@RequestParam(name = "id") int[] ids) { for (int id: ids) { logger.info("{}", id); } return ResponseBuilder.success(); } @Api(url = "/array/Integer", method = RequestMethod.GET) public Response<String> testIntegerArray(@RequestParam(name = "id") Integer[] ids) { for (Integer id: ids) { logger.info("{}", id); } return ResponseBuilder.success(); } @Api(url = "array/float", method = RequestMethod.GET) public Response<String> testFloatArray(@RequestParam(name = "id") float[] ids) { for (float id: ids) { logger.info("{}", id); } return ResponseBuilder.success(); } @Api(url = "array/Float", method = RequestMethod.GET) public Response<String> testFloatArray(@RequestParam(name = "id") Float[] ids) { for (Float id: ids) { logger.info("{}", id); } return ResponseBuilder.success(); } @Api(url = "array/Double", method = RequestMethod.GET) public Response<String> testDoubleArray(@RequestParam(name = "id") Double[] ids) { for (Double id: ids) { logger.info("{}", id); } return ResponseBuilder.success(); } @Api(url = "array/double", method = RequestMethod.GET) public Response<String> testDoubleArray(@RequestParam(name = "id") double[] ids) { for (double id: ids) { logger.info("{}", id); } return ResponseBuilder.success(); } @Api(url = "array/boolean", method = RequestMethod.GET) public Response<String> testBooleanArray(@RequestParam(name = "id") boolean[] ids) { for (boolean id: ids) { logger.info("{}", id); } return ResponseBuilder.success(); } @Api(url = "array/Boolean", method = RequestMethod.GET) public Response<String> testBooleanArray(@RequestParam(name = "id") Boolean[] ids) { for (Boolean id: ids) { logger.info("{}", id); } return ResponseBuilder.success(); } /** * 测试query string参数类型,和json参数类型结合的绑定 * @param id * @param user * @return */ @Api(url = "/get/user", method = RequestMethod.POST) public Response<User> test(@RequestParam(name = "id") int id, @JsonParam User user) { System.out.println(user); User result = testService.getUserById(id); logger.info("json 参数: {}", user); logger.info("{}", result); return ResponseBuilder.success(result); } }
Storm-Server,以 Jetty 为 Servlet 容器的一个 Java Web 框架,主要用于为前端提供 API 服务,具有快速开发的优势。Storm-Server 之后会提供一些操作 MySQL,Redis 的工具,Storm-Server 旨在快速开发一些小型的 Web 应用,以及用于日常学习。欢迎各位 star 和参与开发,Storm-Server 期待你的参与与建议。 小试牛刀
第一个问题: 启动失败,访问:8080,storm-ui界面,显示“无法访问此网站” 解决方法 查看报错信息:The storm client can only be run from within a release. You appear to be trying to run the client from a checkout of Storm's source code. You c
部署前准备 下载apache-storm-1.1.0 http://storm.apache.org/downloads.html网页下去寻找apache-storm-1.1.0.tar.gz,然后下载此虚拟机版本 此文拿三个节点类比N个节点的Storm集群配置的搭建,此文搭建的是HA-Storm的集群。 下面就让我们一起来搭建storm集群,具体步骤如下: /etc/hosts信息 ip
主要内容 一、概述 二、集群安装 三、整合kafka与storm 四、融合kafka、storm与hdfs 五、创建kafka客户端代替kafka-console-producer(未完成,暂时使用其他人发送过来的日志文件) 部分内容转自:http://shiyanjun.cn/archives/934.html 一、概述 (一)机器环境 共4台机器: nn01 dn01 dn02 dn03 1
今天来说说Storm集成Jdbc是如何完成的,代码如下: 写入数据: 先来讲讲官方API: Map hikariConfigMap = Maps.newHashMap(); hikariConfigMap.put("dataSourceClassName","com.mysql.jdbc.jdbc2.optional.Mysq
学习Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop 目录 Hive Pig Spark Storm HBase Sqoop Hive Pig和Hive的对比 摘要: Pig Pig是一种编程语言,它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义(如日志文件)。同时Pig可扩展使用Ja
1.Set up a Zookeeper cluster 2.Install dependencies on Nimbus and worker machines 3.Download and extract a Storm release to Nimbus and worker machines 4.Fill in mandatory configurations into storm.yam
1.使用maven或者其他打包工具将storm-starter打成jar包 2.请将jar包用解压工具打开在根目录下找到defaults.yaml文件并将其删除不然到时会报有multiply defaults.yaml的错哦 3.用ftp工具将jar包上传到linux系统主节点上 4.在各个节点上启动zookeeper,启动nimbus(只需在主节点上启动),启动supervisor,启动ui(只
storm,kafka,flume这一套貌似是比较好用的数据实时处理框架 先不说怎么在服务器上搭建flume和kafka这一块的数据收集框架,只说java环境下接收kafka生产者产生的数据,然后经过storm处理数据。 一开始想通过普通main方法直接启动,但是无法使用框架带的功能,于是乎想整合进springboot框架,但是这些框架都是相对独立的,不能互相调用功能,于是乎在网上找了个例子,一系
Storm-1.0.1+ZooKeeper-3.4.8+Netty-4.1.3 HA集群安装 下载Storm-1.0.1 http://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.0.1/apache-storm-1.0.1.tar.gz 下载Zo
安装GCC sudo yum install gcc* # sudo yum install uuid* # sudo yum install e2fsprogs* # sudo yum install libuuid* sudo yum install update-rc.d 1. 安装python2.7.2 ============================ # wget http:/
Windows下安装storm-0.9.1的详细步骤如下: 1.确定已经正确安装JDK1.6或JDK1.7(具体安装步骤略) 2.安装Python2.7版本(测试storm-starter project案例中的WordCount示例) 2.1 下载python2.7版本的msi安装包,按照提示进行安装(例如安装路径为 E:\Python27) 2.2 配置Python的环境变量,在
我使用Hadoop构建了一个在分布式环境中搜索类似图像存储的应用程序。但是Hadoop不支持实时处理,这就是响应时间长的原因。我知道Storm是另一个大数据分析应用程序的框架。但是我很困惑我们是否可以使用Storm来实现这种应用程序。 有没有人建议什么样的应用程序可以有效地使用Storm框架。
STORM 是一款免费且开源的WebSerivce测试工具 它的功能: 1,测试任意语言测试 WebService 2,可动态调用webservice的方法,即使输入参数需要使用复杂的数据类型 3,节省开发成本与时间。你完全不需要自己做一个测试WebService的客户端 4,一个UI测试多个WebService 5,编辑SOAP header 6,其他(自己找找新的功能 - -!)
准备客户端 wget http://files.fds.api.xiaomi.com/emq-storm/apache-storm-0.9.1-incubating-mdh1.1-SNAPSHOT.tar.gz tar -xzf storm-0.9.1-incubating-mdh1.1-SNAPSHOT.tar.gz NOTE: 客户端直接下下来还需要对conf目录下的storm.yaml进行
运行在Hadoop集群上的Storm——即Storm-YARN的源代码。
Steel Storm ,中文译名为”钢铁风暴”,这是一款由独立游戏开发团队 Kot-in-Action Creative Artel 公司开发的免费射击游戏,并且是跨平台游戏,支持 Win 、Mac 及 Linux 。 该游戏画面漂亮,背景音乐也不错,而且操作简单,只需要 ASDW 键及鼠标就可以完全控制,是一款适合消磨时间的游戏。 Ubuntu 用户可以到这里下载 Linux 版本,解压后运行里面的二进制程序就可以玩了。
Apache Storm 的前身是 Twitter Storm 平台,目前已经归于 Apache 基金会管辖。 Apache Storm 是一个免费开源的分布式实时计算系统。简化了流数据的可靠处理,像 Hadoop 一样实现实时批处理。Storm 很简单,可用于任意编程语言。Apache Storm 采用 Clojure 开发。 Storm 有很多应用场景,包括实时数据分析、联机学习、持续计算、分