网站首页 kafka日志分析
-
Kafka日志文件格式及刷写清理策略
Kafka作为一个高吞吐的消息中间件和传统的消息中间件一个很大的不同点就在于它的消息实际上是以日志的方式默认保存在/tmp/kafka-logs文件夹中的。...
2024-09-27 btikc 技术文章 22 ℃ 0 评论 -
Spring Boot整合Kafka对日志文件数据进行采集?
在很多业务场景下，我们都需要通过日志的采集来分析系统运行情况以及用户使用情况一般情况下我们可以通过Kafka来进行日志的采集进行日志分类汇总，那么下面我们就来看看如何在SpringBoot应用程序中整合Kafka来进行日志采集。添加Kafk...
2024-09-27 btikc 技术文章 18 ℃ 0 评论 -
为什么选择 Kafka 消息队列 深入浅出解析Kafka的卓越特性与应用场景
...
2024-09-27 btikc 技术文章 18 ℃ 0 评论 -
Kafka如何处理数据过期和日志清理?有哪些日志清理策略?
Kafka处理数据过期和日志清理的方式主要是通过设置消息的保留策略和日志清理策略来实现的。...
2024-09-27 btikc 技术文章 18 ℃ 0 评论 -
日志平台设计—脱离kibana 日志平台架构
一、背景每日优鲜早期日志系统和监控系统情况比较相似，只有几个业务线有自己的日志系统，并没有推广到公司的级别。已知的交易平台有一套自己的mlist，搜索组有自己搭建的EFK，这两个日志系统存在各自的弊端，其余的业务线更是处在一种最原始的状...
2024-09-27 btikc 技术文章 19 ℃ 0 评论 -
Kafka中数据清理、日志压缩策略 kafka数据目录是如何清理的
Kafka中数据清理（LogDeletion）Kafka的消息存储在磁盘中，为了控制磁盘占用空间，Kafka需要不断地对过去的一些消息进行清理工作。Kafka的每个分区都有很多的日志文件，这样也是为了方便进行日志的清理。在Kafka中，提...
2024-09-27 btikc 技术文章 18 ℃ 0 评论 -
Kafka的原理、基础架构、以及使用场景详解
一：Kafka简介ApacheKafka是分布式发布-订阅消息系统，在kafka官网上对kafka的定义：一个分布式发布-订阅消息传递系统。...
2024-09-27 btikc 技术文章 19 ℃ 0 评论 -
云原生Kafka集群的日志收集与分析
云原生Kafka集群的日志收集与分析在现代的云计算环境中，Kafka集群扮演着消息队列和事件流平台的重要角色。随着数据量的不断增长，对Kafka集群的日志进行有效的收集与分析变得至关重要。这不仅有助于监控集群的健康状态，还能及时发现和解决潜...
2024-09-27 btikc 技术文章 19 ℃ 0 评论 -
Uber如何使用ClickHouse建立日志分析平台?
本文最初发布于Uber官方博客，InfoQ经授权翻译如下。在Uber，我们提供了一个集中的、可靠的、交互式的日志平台，让工程师们可以快速完成大规模日志分析工作。这些日志被标记为一组丰富的上下文键值对，工程师可以使用它们来切分数据，以...
2024-09-27 btikc 技术文章 20 ℃ 0 评论 -
Apache Kafka之日志压缩详解 kafka实现日志收集
在本文中，我将描述Kafka中日志压缩数据结构。然后，我会向大家展示Kafka如何在内部将这些topic的状态保存在文件系统中。预备知识我假设大家已经熟悉ApacheKafka的基本概念，比如代理(broker)、主题(topic)、分区...
2024-09-27 btikc 技术文章 20 ℃ 0 评论
- 控制面板
- 网站分类
- 最新留言