Michael_Wang

JavaAndKafka_Streams


  • 首页

  • 标签

  • 分类

  • 归档

  • 搜索

数据的时间序列

发表于 2020-09-25 | 分类于 大数据分析 | 热度: ℃
字数统计: 696 | 阅读时长 ≈ 2
时间序列 说明 时间序列的数据是比较重要的结构化数据形式,在多个时间观测或者测量的数据形成了时间序列 许多的时间序列是固定频率的,也就表明数据是根据相同规则出现的.同样的时间序列可以是不规则的,没有固定的时间单位和偏移量 标记时间的方式可能有时间戳;固定的时间区间;时间间隔;实验时间或消耗时间 ...
阅读全文 »

数据分组和聚合操作

发表于 2020-09-11 | 分类于 大数据分析 | 热度: ℃
字数统计: 772 | 阅读时长 ≈ 2
通过将数据进行分组以及聚合,能够更加能够看到数据的重要性,越来越接近我的想法了. 数据聚合和分组操作​ 对数据及进行分类,在每一组数据应用聚合函数或者转换函数,这是非常重要的一个部分.一般在数据载入,合并,准备数据集之后,可能需要计算分组统计或者数据透视表用于报告或可视化的目的。pandas提 ...
阅读全文 »

数据制图

发表于 2020-08-26 | 分类于 大数据分析 | 热度: ℃
字数统计: 695 | 阅读时长 ≈ 2
通过将数据进行可视化操作,数据就变得越来越美丽了 绘图与可视化 python提供了很多可以制作静态或者动态的可视化文件的库 python中提供了一个库叫做matplotlib库 可视化数据能够直观的展现数据分析的结果 简明的matplotlib入门 图片与子图matplotlib绘制的图片位于Fi ...
阅读全文 »

数据规整之连接,联合与重塑

发表于 2020-07-24 | 分类于 大数据分析 | 热度: ℃
字数统计: 622 | 阅读时长 ≈ 2
这章可以在以后的数据分析案例中,慢慢的体会。但最终的目的就是为了组装自己想要的数据 数据规整之连接,联合与重塑首先数据可能分布在多个文件或者数据库中,或以某种不易于分析的格式进行排列。而现在我们要做的就是如何连接,联合与重塑 分层索引分层索引是pandas的重要特性,允许在一个轴向上拥有多个索引层级 ...
阅读全文 »

数据分析之清洗与准备2

发表于 2020-07-23 | 分类于 大数据分析 | 热度: ℃
字数统计: 249 | 阅读时长 ≈ 1
继续刚. 数据清洗与准备2python在字符串和文本操作上具有很大的便利性,字符串对象是大部分的文本操作简单化,对于复杂的模式匹配和文本操作。正则表达式是可能需要的。pandas允许将字符串和正则表达式应用到整个数据数组上。同时也能处理数据缺失带来的问题 字符串操作字符串对象方法 查找和定位字符串 ...
阅读全文 »

数据分析之清洗与准备1

发表于 2020-07-02 | 分类于 大数据分析 | 热度: ℃
字数统计: 1k | 阅读时长 ≈ 3
数据清洗也是我们的首要准备的,不完美的数据永远都是不完美的 数据清洗与准备1 数据分析和建模的过程中,大量的时间都花在了数据准备上 pandas和内置的python工具提供了一个高级,灵活和快速的工具集 着重关注于如何处理缺失值,重复值,字符串操作和其他分析数据转换工具 处理缺失值​ pan ...
阅读全文 »

数据分析之Excel与WebApis交互

发表于 2020-03-16 | 分类于 大数据分析 | 热度: ℃
字数统计: 214 | 阅读时长 ≈ 1
其实你会发现转来转去二维数组就在我们身边,json数组放对象,table就是活生生的二维空间。真的是答案就在我们的身边。继续前行,数据清洗和准备,我来了 数据分析之读取Excel与WebApis交互 读取Excel操作 WebApis交互 读取Excel操作pandas的ExcelFile和rea ...
阅读全文 »

数据分析之数据加载,存储与文件格式一

发表于 2020-03-12 | 分类于 大数据分析 | 热度: ℃
字数统计: 479 | 阅读时长 ≈ 1
越来越有意思了,坚持坚持 数据加载,存储与文件格式 读写文本格式的数据 读写文本格式的数据利用pandas的数据输入和输出,输入和输出划分几个大类:读取文本文件,加载数据库中的数据,利用webapi操作网络资源 pandas提供了一些用于将表格型数据读取为DataFrame对象的函数,其中read ...
阅读全文 »

数据分析之Pandas基础三

发表于 2020-03-11 | 分类于 大数据分析 | 热度: ℃
字数统计: 917 | 阅读时长 ≈ 3
协方差和相关系数非常的有意思,可以让你衍生出现在就想关心数据应该怎么组合 pandas基础三 汇总和计算描述统计 汇总和计算描述统计pandas对象拥有一组常用的数学和统计方法,大部分是属于约简和汇总统计。用于从series提取单个值或者从DataFrame的行或者列中提取一个series,都是基 ...
阅读全文 »

数据分析之Pandas基础二

发表于 2020-03-06 | 分类于 大数据分析 | 热度: ℃
字数统计: 671 | 阅读时长 ≈ 2
pandas基础二 基本功能 基本功能介绍Series和DataFrame的数据的基本操作 重新索引pandas对象的一个重要方法是reindex,其作用是创建一个新对象,它的数据符合新的索引 索引会根据reindex进行重排.如果某个索引值不存在,引入缺失值 对于时间序列的有序数据,重新索引需 ...
阅读全文 »
1234…8
Michael_Wang

Michael_Wang

技术源于生活

75 日志
15 分类
133 标签
RSS
GitHub E-Mail
© 2021 Michael_Wang
博客全站共117.8k字
人 次