当前位置: 首页 > 软件库 > 开发工具 > PHP开发工具 >

php-kafka-consumer

kafka consumer 库
授权协议 Apache
开发语言 PHP
所属分类 开发工具、 PHP开发工具
软件类型 开源软件
地区 国产
投 递 者 白学
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

php-kafka-consumer 主要是对 php_rdkafka 的 consumer 的 API 进行一层封装,增加了原程序中所没有的与 zookeeper 交互的功能。在此基础上实现了 rebalance 功能以及 group 功能。 经过简单的压力测试,单个进程的消费能力能达到每秒钟7.8W条,压测详细内容见压力测试

依赖

php_zookeeper

php_rdkafka (建议使用1.0.0版本)

librdkafka(建议使用0.9.1版本)

使用

<?php 
include 'consumer.php';

function call_back_func($msg) {
    echo "$msg->payload\n";
}

function handle_error_call_back($msg) {
    echo $msg->errstr();
}

$consumer = New Consumer("localhost:2181");
$consumer->setGroupId("group-test");
$consumer->setTopic("topic-test");
$consumer->setOffsetAutoReset(Consumer::smallest);
$consumer->setErrHandler("handle_error_call_back");

try {
    $consumer->start("echo_message");
}
catch(Exception $e) {
    printf("error: %s\n", $e->getMessage());
}
  • php-consumergroup php-consumergroup is a kafka consumer library with group and rebalance supports. Requirements Apache Kafka 0.7.x, 0.8.x, 0.9.x, 0.10.x Dependencies php_rdkafka (1.0.0 is recommended)

  • php-consumergroup 简介 主要是对php_rdkafka的consumer的api进行了一层封装,增加了原程序中所没有的与zookeeper交互的功能。在此基础上实现了rebalance功能以及group功能。 producer及其他相关的内容可以参考php_rdkafka 中的相关文档。 经过简单的压力测试,单个进程的消费能力能达到每秒钟7.8W条,压测详细内容见压力测试。 依赖

  • php-kafka框架 项目简介 php-kafka框架,重点关注业务上游,避免重复造轮子 github源码地址 官网博客 功能特性 低级消费与高级消费支持数据聚合批量回调,应对上游业务需要聚合数据的,典型的场景:消费到的kafka消息需要一次性聚合查询某个API,而不是消费到一条就查询一次API 支持进程自定义时间(毫秒级)来平滑结束进程,并且配合crontab来重新启动,达到平滑更新Php代码

  • 简介 Flink-kafka-connector用来做什么? Kafka中的partition机制和Flink的并行度机制结合,实现数据恢复 Kafka可以作为Flink的source和sink 任务失败,通过设置kafka的offset来恢复应用 kafka简单介绍 关于kafka,我们会有专题文章介绍,这里简单介绍几个必须知道的概念。 1.生产者(Producer) 顾名思义,生产者就是生产消

  • @Configuration @EnableKafka public class KafkaConfiguration{ @Value{"${spring.kafka.consumer.bootstrap-servers}"} private String consumerServer; @Value{"${spring.kafka.consumer.enable

 相关资料
  • Kafka-php 使用纯粹的 PHP 编写的 kafka 客户端,目前支持 0.8.x 以上版本的 Kafka,该项目 v0.2.x 和 v0.1.x 不兼容,如果使用原有的 v0.1.x 的可以参照文档 Kafka PHP v0.1.x Document, 不过建议切换到 v0.2.x 上。v0.2.x 使用 PHP 异步执行的方式来和kafka broker 交互,较 v0.1.x 更加稳定

  • 本文向大家介绍php测试kafka项目示例,包括了php测试kafka项目示例的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了php测试kafka项目。分享给大家供大家参考,具体如下: 概述 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消

  • 我需要从Kafka主题获取消息并通过基于HTTP的API通知其他系统。也就是说,从主题获取消息,映射到第三方API并调用它们。我打算为此编写一个Kafka Sink连接器。 对于这个用例,Kafka Connect是正确的选择还是我应该使用Kafka客户端。

  • 我无法批量阅读Kafka骆驼消费者,尽管遵循了这里发布的一个例子。我需要对我的生产者进行更改,还是我的消费者配置最有可能出现问题? 所讨论的应用程序利用kafka camel组件接收来自restendpoint的消息,验证它们,并将它们放在主题上。然后,我有一个单独的服务,从主题中使用它们,并将它们保存在时间序列数据库中。 消息是一次一个地产生和消费的,但是数据库希望消息是批量消费和提交的,以获得

  • https://github.com/joekiller/logstash-kafka 插件已经正式合并进官方仓库,以下使用介绍基于logstash 1.4相关版本,1.5及以后版本的使用后续依照官方文档持续更新。 插件本身内容非常简单,其主要依赖同一作者写的 jruby-kafka 模块。需要注意的是:该模块仅支持 Kafka-0.8 版本。如果是使用 0.7 版本 kafka 的,将无法直接使

  • Kafka提供分布式、高吞吐、可扩展的消息队列服务。 Kafka提供分布式、高吞吐、可扩展的消息队列服务。消息队列Kafka版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,已成为大数据生态中不可或缺的部分。 目前仅支持只读对接腾讯云的Kafka。 入口:在云管平台单击左上角导航菜单,在弹出的左侧菜单栏中单击 “中间件/消息队列/Kafka” 菜单项,进入Kafka列表。