数据分析前的准备工作
做好数据分析,先好好理解数据和工具
数据分析前的准备工作
数据与python
python处理数据问题上面重要的库
环境安装以及常用的学习工具与开发工具
数据与python数据数据这个词是抽象的,我们如何认识数据,有2个点我们需要我们作为前提
数据有可能代表是世界,人等一切事物,及时杂乱无序,但
...
开发Kafka_Streams晋阶之路(归约和聚合)
归约比聚合相对容易,但是聚合可以做更多的事情
知识点
归约和聚合概念
解决实际需求
如何归约
如何聚合
归约和聚合概念1.归约即是reduce,代表着累加求和，无论是在现在的python已经jdk新特性中都有体现
2.聚合即是aggregate,代表着聚集合并在一起的操作,一般来说归约和聚合在一起
...
开发Kafka_Streams晋阶之路(KTable)
只有清晰的明白流和表，你才有可能明白聚合以及开窗
知识要点
流与表的关系
记录流概念
更新记录和日志
2者之间的对比
工作原理
流与表的关系在生活中,我们无时无刻都在产生一些事件,每个事件上面都可以看成在历史的记录中不断的添加一笔新的操作.而这些记录与其他的记录无关，都是独立的。
记录流的概念流被
...
开发Kafka_Streams晋阶之路(连接能力)
连接以为可以观测时间,有了时间,我们才会具有洞察力.
知识点
连接的目的,增加洞察力
时间戳的定义以及分类
连接的目的在前期我们通过给定谓词(也就是加入筛选条件)将流分为了2类，比如钥匙类和小五金类
如何让这2个不同的流连接在一起,能够观察增加需求能力。
连接的要求
2个流以上
有一个相同的ke
...
开发Kafka_Streams晋阶之路(数据状态)
数据本来平淡无奇,一旦有了思想,数据变成为了有想法的一种境界状态
知识点
状态在流中的重要性
状态存储阅读历史,展望未来
分区一致.数据正确
状态存储的选择前置条件
使用状态存储
代码示例
状态在流中的重要性
什么是状态？
状态是人赋予的主观意识判断。本身数据是无状态的。举个例子:股票的买卖交易
...
开发Kafka_Streams(3-4)
kafka实时计算出版效果.
springboot结合kafkaStream流推送消息Echart图形展示(3-4)
实现要求(学生名字,学生年龄,班级) (班级多少人,年龄分布人数,实时)
构建流式程序2个步骤(一个处理统计班级人数,一个统计年龄分布人数)
从studentMsg主题源获取数据,通
...
开发Kafka_Streams(3-3)
推送是必不可少的一个环节。做好推送,即将进入实时计算的体系中。
springboot整合websocket推送数据消息
整合websocket
结合3-2进行消息的推送
springboot整合websocket
1.添加依赖文件
1234<dependency> <
...
开发Kafka_Streams(3-2)
第一步必不可少,理解熟练是必要!
springboot整合kafka发送自定义消息序列
结合分层构建的springboot项目,分别构建生产者模块和消费者模块
构建自定的数据模型(使用jsonObject进行数据的转换)并配置kafka生产者和消费者
使用spring提供的kafka对象编写生产者和
...
开发Kafka_Streams(3-1)
前期先利用springboot整合热身,不是什么坏事情。
kafkaStream流式计算版本实现1.0
springboot分模块整合(3-1)
springboot整合kafka发送自定义消息序列(3-2)
springboot整合websocket推送数据消息(3-3)
springboot结合
...
开发Kafka_Streams2
熟知kafka提供的高级算子,以及熟练使用我们常用的算子是不可或缺的操作。
模拟数据进行流拓扑的设计
根据一个模拟的购物数据进行流的设计
设计规则以及如何将流切分为多个流(再分流)
根据一个模拟的购物数据进行流的设计
通过屏蔽处理器处理屏蔽卡号问题
提取购买的物品以及邮编,确定购买模式
获取会员
...