商务服务
13 数据管道和流式处理(了解即可)
2024-12-31 20:50

一、前言

最近公司项目准备开始重构,框架选定为 Spring Boot ,本篇主要记录了在 IDEA 中搭建 Spring Boot Maven 多模块项目的过程。
这篇文章可以说是完全的一篇实战项目干货,感兴趣的朋友们可以继续看下去

1.1 什么是kafka

1.2 kafka中的基本概念

1.2.1 消息和批次

1.2.2 主题和分区

1.2.3 生产者和消费者、偏移量、消费者群组

1.2.4 Broker和集群

1.2.5 保留消息

2.1 优点

2.2 常见场景

2.2.1 活动跟踪

2.2.2 传递消息

2.2.3 收集指标和日志

2.2.4 提交日志

2.2.5 流处理

3.1 安装

3.1.1 预备环境

3.1.2 下载和安装kafka

3.1.3 运行

3.1.4 kafka基本的操作和管理

3.2 Broker配置

3.3 硬件配置对kafka性能的影响

3.3.1 磁盘吞吐量/磁盘容量

3.3.2 内存

3.3.3 网络

3.3.4 CPU

3.3.5 总结

4.1 为何需要kafka集群

4.2 如何估算kafka集群中Broker的数量

4.3 Broker如何加入kafka集群

5.1 创建我们的主题

5.2 生产者发送消息

5.2.1 必选属性(bootstrap.servers、key.serializer、value.serializer

5.3 消费者接受消息

5.3.1 必选参数(group.id

5.4 演示示例

6.1 生产者发送消息的基本流程

6.2 使用kafka生产者

6.2.1 三种发送方式(发送并忘记、同步发送、异步发送

6.2.2 多线程下的生产者

6.2.3 更多发送配置(acks、buffer.mempry、max.block.ms、retries、batch.size、linger.ms、compression.type、client.id、、、顺序保证

6.3 序列化

6.3.1 自定义序列化需要考虑的问题

6.4 分区

6.4.1 自定义分区器

7.1 消费者的入门

7.1.1 消费者群组

7.1.2 消费者配置

7.2 消费者中的基础概念

7.2.1 消费者群组

7.2.2 订阅

7.2.3 轮询

7.2.4 提交和偏移量

7.3 消费者中的核心概念

7.4 kafka中的消费安全

7.5 消费者提交偏移量导致的问题

7.5.1 自动提交

7.5.2 手动提交(同步

7.5.3 异步提交

7.5.4 同步和异步组合

7.5.5 特定提交

7.6 分区再均衡

7.7 优雅1退出

7.8 反序列化

7.9 独立消费者

8.1 集群的成员关系

8.2 什么是控制器

8.3 复制-kafka的核心

8.3.1 replication-factor

8.3.2 副本类型

8.3.3 工作机制

8.4 处理请求的内部机制

8.4.1 生产请求

8.4.2 获取请求

8.4.3 ISR

8.5 物理存储机制

8.5.1 分区分配

8.5.2 文件管理

8.5.3 文件格式

8.5.4 索引

8.5.5 超时数据的清理机制

9.1 kafka提供的可靠性保证和架构上的权衡

9.2 复制

9.3 Broker配置对可靠性的影响

9.3.1 复制系数

9.3.2 不完全的首领选举

9.3.3 最少同步副本

9.4 可靠系统里的生产者

9.4.1 发送确认

9.4.2 配置生产者的重试参数

9.4.3 额外的错误处理

9.5 可靠系统里的消费者

9.5.1 消费者的可靠性配置

9.5.2 显式提交偏移量

10.1 与Spring集成

10.1.1 pom文件

10.1.2 统一配置

10.1.3 生产者端

10.1.4 消费者端

13.1 数据管道基本概念

13.2 流式处理基本概念

看完美团、字节、腾讯这三家的面试问题,是不是感觉问的特别多,可能咱们又得开启面试造火箭、工作拧螺丝的模式去准备下一次的面试了。

开篇有提及我可是足足背下了1000道题目,多少还是有点用的呢,我看了下,上面这些问题大部分都能从我背的题里找到的,所以今天给大家分享一下互联网工程师必备的面试1000题

注意:不论是我说的互联网面试1000题,还是后面提及的算法与数据结构、设计模式以及更多的Java学习笔记等,皆可分享给各位朋友直接戳这里即可免费下载

互联网工程师必备的面试1000题

而且从上面三家来看算法与数据结构是必备不可少的,因此我建议大家可以去刷刷这本左程云大佬著作的《程序员代码面试指南 IT名企算法与数据结构题目最优解》,里面近200道真实出现过的经典代码面试题

1000题,还是后面提及的算法与数据结构、设计模式以及更多的Java学习笔记等,皆可分享给各位朋友直接戳这里即可免费下载

[外链图片转存中…(img-uCe6rITt-1624676375078)]

互联网工程师必备的面试1000题

而且从上面三家来看算法与数据结构是必备不可少的,因此我建议大家可以去刷刷这本左程云大佬著作的《程序员代码面试指南 IT名企算法与数据结构题目最优解》,里面近200道真实出现过的经典代码面试题

    以上就是本篇文章【13 数据管道和流式处理(了解即可)】的全部内容了,欢迎阅览 ! 文章地址:https://sicmodule.kub2b.com/news/13956.html
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 企库往资讯移动站 https://sicmodule.kub2b.com/mobile/ , 查看更多   
最新文章
过年无忧 | 一键get这些春节话术!
一键Get这些春节话术~过年无忧新年快乐春节将至,年味渐浓在这温馨又热闹的节日氛围里我们既能品尝各式各样的美味佳肴沉浸于味
2025在新加坡生活的我们将迎来“至暗时刻”:房租飙涨、每个月入不敷出…
聚焦新加坡真是开年暴击!2025年刚开始,还没过新年呢,万事通就出了一身冷汗:今年又是一个物价涨涨涨的年份。在网上一搜“新加
太抽象!太抽象!2024年游戏行业简直太抽象!
年末,DataEye研究院今天整点活,轻松一波。——用数据、新闻盘点2024年国内游戏业有多抽象。回首2024年有产品研发8年烧了数亿,
TikTok会如何收场
TikTok的命运再次悬而不决。在美国下架12小时又恢复运营之后,1月20日,美国总统特朗普签署行政命令,要求TikTok「不卖就禁」法
今天上午10:00,成绩发布!
早安,东台!‍今天是2025年1月22日‍星期三(农历腊月廿三)大美东台,活力满满进取创新、奋斗拼搏最近有哪些新动态?和小东一
农村土地托管服务的理论基础
中国产品流通经纪人协会供销合作行业标准《农产品食品供应商信用评价规范》参编单位征集函中国农产品流通经纪人协会供销合作行业
头上三尺有神明,每个人头顶都有一颗星,当星光消失人也就消失!
每当夜晚降临后,我们抬头看天空,会看到满天的星星,自古以来,人们从没有停止过对星象的观测和研究。古人观测星象,一则是为了
运营师抖音代运营
运营师抖音代运营:掌握流行短视频潮流的神奇职业短视频平台已经成为人们娱乐、学习和社交的重要方式。在众多的短视频平台中,抖
微短剧,2024年“最大赢家”? | 年终盘点
2024,短剧行业大变样。作者 | 张语格编辑 | 趣解商业文娱组“互联网大厂争相入局。”“98%的短剧制作方都在亏钱。”“用户被免
同类第一!20%弹性的人工智能 ETF 科创(588760)今日上市,一键布局科创板优质AI龙头
  最新公告内容显示,广发上证科创板交易型开放式指数投资基金(基金代码:588760;扩位简称: ETF 科创)已于 2025 年 1 月 1