时间:2021-05-19
背景
nginx-kafka-module是nginx的一个插件,可以将kafka整合到nginx中,便于web项目中前端页面埋点数据的收集,如前端页面设置了埋点,即可将用户的一些访问和请求数据通过http请求直接发送到消息中间件kafka中,后端可以通过程序消费kafka中的消息来进行实时的计算。比如通过SparkStream来实时的消费Kafka中的数据来分析用户PV,UV、用户的一些行为及页面的漏斗模型转化率,来更好的对系统进行优化或者对来访用户进行实时动态的分析。
具体整合步骤
1.安装git
2.切换到/usr/local/src目录,然后将kafka的c客户端源码clone到本地
3.进入到librdkafka,然后进行编译
4.安装nginx整合kafka的插件,进入到/usr/local/src,clone nginx整合kafka的源码
5.进入到nginx的源码包目录下 (编译nginx,然后将将插件同时编译)
6.修改nginx的配置文件:设置一个location和kafaka的topic,详情请查看当前目录的nginx.conf
如下图:
7.启动zk和kafka集群(创建topic)
8.启动nginx,报错,找不到kafka.so.1的文件
error while loading shared libraries: librdkafka.so.1: cannot open shared object file: No such file or directory
9.加载so库
10.测试,向nginx中写入数据,然后观察kafka的消费者能不能消费到数据
也可以模拟页面埋点请求接口来发送信息:
后台Kafka消费信息如图:
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
本文介绍了SpringBoot集成Kafka的示例代码,分享给大家,也给自己留个笔记系统环境使用远程服务器上搭建的kafka服务Ubuntu16.04LTSka
没有Kafka环境,所以也没有进行验证。感觉今后应该能用到,所以借抄在此,备查。pykafka使用示例,自动消费最新消息,不重复消费:#-*coding:utf
Freemarker入门示例FreeMarker整合Struts2示例SiteMesh入门示例那么如何将Freemarker与SiteMesh结合起来使用,这在
在上篇文章给大家介绍了FastDFS安装和配置整合Nginx-1.13.3的方法,大家可以点击查看下。今天使用Java代码实现文件的上传和下载。对此作者提供了J
Kafka的结构与RabbitMQ类似,消息生产者向Kafka服务器发送消息,Kafka接收消息后,再投递给消费者。生产者的消费会被发送到Topic中,Topi