Michael_Wang

JavaAndKafka_Streams


  • 首页

  • 标签

  • 分类

  • 归档

  • 搜索

数据分析前的准备工作

发表于 2020-02-14 | 分类于 大数据分析 | 热度: ℃
字数统计: 773 | 阅读时长 ≈ 2
做好数据分析,先好好理解数据和工具 数据分析前的准备工作 数据与python python处理数据问题上面重要的库 环境安装以及常用的学习工具与开发工具 数据与python数据数据这个词是抽象的,我们如何认识数据,有2个点我们需要我们作为前提 数据有可能代表是世界,人等一切事物,及时杂乱无序,但 ...
阅读全文 »

开发Kafka_Streams晋阶之路(归约和聚合)

发表于 2020-01-08 | 分类于 KafkaStreams | 热度: ℃
字数统计: 2.2k | 阅读时长 ≈ 11
归约比聚合相对容易,但是聚合可以做更多的事情 知识点 归约和聚合概念 解决实际需求 如何归约 如何聚合 归约和聚合概念1.归约即是reduce,代表着累加求和,无论是在现在的python已经jdk新特性中都有体现 2.聚合即是aggregate,代表着聚集合并在一起的操作,一般来说归约和聚合在一起 ...
阅读全文 »

开发Kafka_Streams晋阶之路(KTable)

发表于 2020-01-03 | 分类于 KafkaStreams | 热度: ℃
字数统计: 1.4k | 阅读时长 ≈ 6
只有清晰的明白流和表,你才有可能明白聚合以及开窗 知识要点 流与表的关系 记录流概念 更新记录和日志 2者之间的对比 工作原理 流与表的关系在生活中,我们无时无刻都在产生一些事件,每个事件上面都可以看成在历史的记录中不断的添加一笔新的操作.而这些记录与其他的记录无关,都是独立的。 记录流的概念流被 ...
阅读全文 »

开发Kafka_Streams晋阶之路(连接能力)

发表于 2019-12-30 | 分类于 KafkaStreams | 热度: ℃
字数统计: 1.8k | 阅读时长 ≈ 8
连接以为可以观测时间,有了时间,我们才会具有洞察力. 知识点 连接的目的,增加洞察力 时间戳的定义以及分类 连接的目的在前期我们通过给定谓词(也就是加入筛选条件)将流分为了2类,比如钥匙类和小五金类 如何让这2个不同的流连接在一起,能够观察增加需求能力。 连接的要求 2个流以上 有一个相同的ke ...
阅读全文 »

开发Kafka_Streams晋阶之路(数据状态)

发表于 2019-12-26 | 分类于 KafkaStreams | 热度: ℃
字数统计: 2.1k | 阅读时长 ≈ 8
数据本来平淡无奇,一旦有了思想,数据变成为了有想法的一种境界状态 知识点 状态在流中的重要性 状态存储阅读历史,展望未来 分区一致.数据正确 状态存储的选择前置条件 使用状态存储 代码示例 状态在流中的重要性 什么是状态? 状态是人赋予的主观意识判断。本身数据是无状态的。举个例子:股票的买卖交易 ...
阅读全文 »

开发Kafka_Streams(3-4)

发表于 2019-12-16 | 分类于 KafkaStreams | 热度: ℃
字数统计: 1.6k | 阅读时长 ≈ 8
kafka实时计算出版效果. springboot结合kafkaStream流推送消息Echart图形展示(3-4) 实现要求(学生名字,学生年龄,班级) (班级多少人,年龄分布人数,实时) 构建流式程序2个步骤(一个处理统计班级人数,一个统计年龄分布人数) 从studentMsg主题源获取数据,通 ...
阅读全文 »

开发Kafka_Streams(3-3)

发表于 2019-12-06 | 分类于 KafkaStreams | 热度: ℃
字数统计: 1.2k | 阅读时长 ≈ 5
推送是必不可少的一个环节。做好推送,即将进入实时计算的体系中。 springboot整合websocket推送数据消息 整合websocket 结合3-2进行消息的推送 springboot整合websocket 1.添加依赖文件 1234<dependency> < ...
阅读全文 »

开发Kafka_Streams(3-2)

发表于 2019-12-05 | 分类于 KafkaStreams | 热度: ℃
字数统计: 1.1k | 阅读时长 ≈ 5
第一步必不可少,理解熟练是必要! springboot整合kafka发送自定义消息序列 结合分层构建的springboot项目,分别构建生产者模块和消费者模块 构建自定的数据模型(使用jsonObject进行数据的转换)并配置kafka生产者和消费者 使用spring提供的kafka对象编写生产者和 ...
阅读全文 »

开发Kafka_Streams(3-1)

发表于 2019-12-04 | 分类于 KafkaStreams | 热度: ℃
字数统计: 2.5k | 阅读时长 ≈ 13
前期先利用springboot整合热身,不是什么坏事情。 kafkaStream流式计算版本实现1.0 springboot分模块整合(3-1) springboot整合kafka发送自定义消息序列(3-2) springboot整合websocket推送数据消息(3-3) springboot结合 ...
阅读全文 »

开发Kafka_Streams2

发表于 2019-12-02 | 分类于 KafkaStreams | 热度: ℃
字数统计: 3.7k | 阅读时长 ≈ 18
熟知kafka提供的高级算子,以及熟练使用我们常用的算子是不可或缺的操作。 模拟数据进行流拓扑的设计 根据一个模拟的购物数据进行流的设计 设计规则以及如何将流切分为多个流(再分流) 根据一个模拟的购物数据进行流的设计 通过屏蔽处理器处理屏蔽卡号问题 提取购买的物品以及邮编,确定购买模式 获取会员 ...
阅读全文 »
1…456…8
Michael_Wang

Michael_Wang

技术源于生活

75 日志
15 分类
133 标签
RSS
GitHub E-Mail
© 2021 Michael_Wang
博客全站共117.8k字
人 次