Python数据分析与可视化概述（内容全面附PPT）

水深无声 2023-09-30 18:43 64阅读 0赞

> **需要PPT请点赞关注收藏后评论区留言私信~~~**

下面先举几个数据可视化的案例

![e0fbddcdc16e461ca20962d2119d89fe.png][]

![9c6fc7c87de249e287aed6c409a01d30.png][]

![475674fd46b14881809c5441adac7729.png][]

![8dcffc902fa34139b865980624efa6bb.png][]

## 1.数据、信息与数据分析 ##

数据：是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号

数据是信息的表现形式和载体，可以是符号、文字、数字、语音、图像、视频等

数据聚焦于数据的采集、清理、预处理、分析和挖掘，图形聚焦于解决对光学图像进行接收、提取信息、加工变换、模式识别及存储显示，可视化聚焦于解决将数据转换成图形，并进行交互处理

信息：是数据的内涵，信息是加载于数据之上，对数据作具有含义的解释

数据和信息是不可分离的，信息依赖数据来表达，数据则生动具体表达出信息

数据是符号，是物理性的，信息是对数据进行加工处理之后得到、并对决策产生影响的数据，是逻辑性和观念性的

数据是信息的表现形式，信息是数据有意义的表示。数据是信息的表达、载体，信息是数据的内涵，是形与质的关系

数据本身没有意义，数据只有对实体行为产生影响时才成为信息

数据分析：是指用适当的统计分析方法对收集来的大量数据进行分析，为提取有用信息和形成结论而对数据加以详细研究和概括总结的过程

我们常说的数据分析是指狭义的数据分析。从狭义的角度来说，数据分析和数据挖掘存在不同之处

从广义的角度来说，数据分析的范畴会更大一些，涵盖了数据分析和数据挖掘两个部分

数 据分析就是针对搜集来的数据运用基础探索、统计分析、深层挖掘等方法，发现数据中有用的信息和未知的规律与模式，进而为下一步的业务决策提供理论与实践依据。所以广义的数据分析就包含 了数据挖掘的部分

从狭义的角度来说，两者存在一些不同之处，主要体现在两者的定义说明、侧重点、技能要求和最终的输出形式

狭义的数据分析是指根据分析目的，采用对比分析、分组分析、交叉分析和回归分析等分析方法，对收集来的数据进行处理与分析，提取有价值的信息，发挥数据的作用，得到一个特征统计量结果的过程

数据挖掘则是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，通过应用聚类、分类、回归和关联规则等技术，挖掘潜在价值的过程

![1242ff499c364a5db3746c90505a3a14.png][]

![44f469ed65bd4a0288d684ede0324558.png][]

数据分析流程如下

需求分析：数据分析中的需求分析也是数据分析环节的第一步和最重要的步骤之一，决定了后续的分析的方向、方法

数据获取：数据是数据分析工作的基础，是指根据需求分析的结果提取，收集数据

数据预处理：数据预处理是指对数据进行数据合并，数据清洗，数据变换和数据标准化，数据变换后使得整体数据变为干净整齐，可以直接用于分析建模这一过程的总称

分析与建模：分析与建模是指通过对比分析、分组分析、交叉分析、回归分析等分析方法和聚类、分类、关联规则、智能推荐等模型与算法发现数据中的有价值信息，并得出结论的过程

模型评价与优化：模型评价是指对已经建立的一个或多个模型，根据其模型的类别，使用不同的指标评价其性能优劣的过程

部署：部署是指将通过了正式应用数据分析结果与结论应用至实际生产系统的过程

## 1.2 数据可视化 ##

数据分析是一个探索性的过程，通常从特定的问题开始。它需要好奇心、寻找答案的欲望和很好的韧性，因为这些答案并不总是容易得到的

数据可视化，即数据的可视化展示。有效的可视化可显著减少受众处理信息和获取有价值见解所需的时间

数据分析和数据可视化这两个术语密不可分。在实际处理数据时，数据分析先于可视化输出，而可视化分析又是呈现有效分析结果的一种好方法

数据可视化（Data Visualization）：是关于数据视觉表现形式的科学技术研究。其中，这种数据的视觉表现形式被定义为“一种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量

数据可视化主要是借助于图形化手段，清晰有效地传达与沟通信息

### 数据可视化发展历程如下 ###

1987年2月，美国国家科学基金会召开了首次有关科学可视化 会议。正式定义和命名：科学可视化（Scientific Visualization）

1990年，IEEE举办了首届可视化会议（IEEE Visualization Conference）。

1995年之后，IEEE Information Visualization 以研讨会的形式 附属于IEEE Visualization。

2007年，信息可视化会议，改为IEEE Conference on Information Visualization。

2008年至2011年，IEEE可视化会议（VisWeek） • 可视化（Vis） • 信息可视化（InfoVis） • 可视分析（VAST）

2012年至今，IEEE可视化会议（VIS） • 科学可视化（SciVis） • 信息可视化（InfoVis） • 可视分析（VAST）

可视化涉及到用数据构建不同图表，从而提供不同的看待数据分析结果的视角。这有助于确定需要进一步调查的异常值、差距、趋势和有趣的数据点，例如：销售门店的异常销售值、生产车间的产量波动等

可视化分析是一个化繁为简的过程，将通过各种方法运算出的数据结果以清晰的方式展现出来

![96b60cbb59244b38af39b8f74fc9d838.png][]

![35d7fc405d1a46309cd033189e36294f.png][]

数据可视化的意义------- 一图胜千言

1、表达观点

人类是视觉动物，一张简单的数据可视化图表在传递大量信息的同时，能更加直观地阐述观点，为浏览者带来更深刻的印象

将信息可视化能有效地抓住人们的注意力。有的信息如果通过单纯的数字和文字来传达，可能需要花费数分钟甚至几小时，甚至可能无法传达；但是通过颜色、布局、标记和其他元素的融合，图形却能够在几秒钟之内就把这些信息传达给我们

2、发现联系

在错综复杂的数据中，很难发现不同维度和指标之间的关联关系，通过数据可视化的方式则可以轻松验证

做数据可视化时，几种方法经常是混合用的，尤其是做一些复杂图形和多维度数据的展示时

做出的可视化图表一定要易于理解，在显性化的基础上越美观越好，切忌华而不实

数据可视化要根据数据的特性，如时间和空间信息等，找到合适的可视化方式，将数据用直观地展现出来，以帮助人们理解数据，同时找出包含在海量数据中的规律或者信息

## 1.3 数据分析与可视化常用工具 ##

1．Microsoft Excel

Excel是大家熟悉的电子表格软件，已被广泛使用了二十多年，如今甚至有很多数据只能以Excel表格的形式获取到。在Excel中，让某几列高亮显示、做几张图表都很简单，于是也很容易对数据有个大致了解。Excel的局限性在于它一次所能处理的数据量上，而且除非通晓VBA这个Excel内置的编程语言，否则针对不同数据集来重制一张图表会是一件很繁琐的事情

2．R语言

R语言是由新西兰奥克兰大学Ross Ihaka和Robert Gentleman开发的用于统计分析、绘图的语言和操作环境，是属于GNU系统的一个自由、免费、源代码开放的软件，是一个用于统计计算和统计制图的优秀工具

R语言的主要功能包括数据存储和处理系统、驻足运算工具（其向量、矩阵运算方面功能尤其强大）、完整连贯的统计分析工具、优秀的统计制图功能、简便而强大的编程语言以及可操纵数据的输入和输出等功能

3．Python语言

Pyhton 是由荷兰人 Guido van Rossum 于 1989 年发明的，并在1991年首次公开发行。它是一款简单易学的编程类工具，同时，其编写的代码具有简洁性、易读性和易维护性等优点。Pyhton原本主要应用于系统维护和网页开发，但随着大数据时代的到来，以及数据挖掘、机器学习、人工智能等技术的发展，促使 Python进入数据科学的领域

Python同样拥有各种五花八门的第三方模块，用户可以利用这些模块完成数据科学中的工作任务

4. SAS软件

SAS是全球最大的软件公司之一，是由美国NORTH CAROLINA州立大学1966年开发的统计分析软件。SAS把数据存取、管理、分析和展现有机地融为一体，具有功能强大、统计方法齐、全、新并且操作简便灵活的特点

5. SPSS

SPSS是世界上最早的统计分析软件。它封装了先进的统计学和数据挖掘技术来获得预测知识，并将相应的决策方案部署到现有的业务系统和业务过程中，从而提高企业的效益。IBM SPSS Modeler拥有直观的操作界面、自动化的数据准备和成熟的预测分析模型，结合商业技术可以快速建立预测性模型

6.专用的可视化分析工具

除了数据分析与挖掘工具中包含的数据可视化功能模块之外，也有一些专用的可视化工具提供了更为强大便捷的可视化分析功能。目前常用的专业可视化分析工具有Power BI、Tableau、Gehpi和Echarts等

## 1.4 为何选用Python进行数据分析与可视化 ##

Python语言是一种解释型、面向对象、动态数据类型的高级程序设计语言

Python语言是数据分析师的首选数据分析语言，也是智能硬件的首选语言

1. 简单易学 Python是一种代表简单主义思想的语言，它有极简单的语法，极易上手

2.集解释性与编译性于一体 Python语言写的程序不需要编译成二进制代码，可以直接从源代码运行程序，但是需要解释器，它也具有编译执行的特性

3.面向对象编程 Python 即支持面向过程的编程也支持面向对象的编程。与其他主要的语言如C++ 、Java相比，Python以一种非常强大又简单的方式实现面向对象编程

4.可扩展性和可嵌入性 可以把部分程序用C或C++编写，然后在Python程序中使用它们，也可以把Python嵌入到C/C++ 程序中，提供脚本功能

5.程序的可移植性 绝大多数的的Python程序不做任何改变即可在主流计算机平台上运行

6.免费、开源 可以自由地发布这个软件的拷贝、阅读它的源代码、对它做改动、把它的一部分用于新的自由软件中

优点一：优雅、简单、明确 优点二：强大的标准库 优点三：良好的可扩展性 优点四：免费、开源

在数据科学、交互式计算以及可视化等领域，Python经常被拿来和其他开源或商业编程语言进行比较，如R、MATLAB、SAS、Stata等。近年来，Python提高了对类库的支持（如pandas和scikit-learn），使得它成为数据分析任务的一个流行的选择

综合考虑Python在通用软件工程上的实力，它便成为数据应用的首选语言

## 1.5 Python常用类库 ##

1. Numpy

NumPy软件包是Python生态系统中数据分析、机器学习和科学计算的主力军。它极大地简化了向量和矩阵的操作处理

除了能对数值数据进行切片（slice）和切块（dice）外，使用NumPy还能为处理和调试上述库中的高级实例带来极大便利

一般被很多大型金融公司使用，以及核心的科学计算组织如Lawrence Livermore、NASA用其处理一些本来使用C++、Fortran或Matlab等所做的任务。

2. SciPy

SciPy（http://scipy.org）是基于NumPy开发的高级模块，依赖于NumPy，提供了许多数学算法和函数的实现，可便捷快速地解决科学计算中的一些标准问题，例如数值积分和微分方程求解、最优化、甚至包括信号处理等

作为标准科学计算程序库， SciPy它是Python科学计算程序的核心包，包含了科学计算中常见问题的各个功能模块，不同子模块适用于不同的应用

3. Pandas

Pandas提供了大量快速便捷处理数据的函数和方法。它是使Python成为强大而高效的数据分析环境的重要因素之一

Pandas中主要的数据结构有Series、DataFrame和Panel。其中Series是一维数组，与NumPy中的一维array以及Python基本的数据结构List类似；DataFrame是二维的表格型数据结构，可以将DataFrame理解为Series的容器； Panel是三维的数组，可看作为DataFrame的容器

4. Matplotlib

Matplotlib是Python 的绘图库，是用于生成出版质量级别图形的桌面绘图包，让用户很轻松地将数据图形化，同时还提供多样化的输出格式

5. Seaborn

Seaborn在Matplotlib基础上提供了一个绘制统计图形的高级接口，为数据的可视化分析工作提供了极大的方便，使得绘图更加容易

用Matplotlib最大的困难是其默认的各种参数，而Seaborn则完全避免了这一问题。一般来说，Seaborn能满足数据分析90%的绘图需求

6. Scikit-learn

Scikit-learn是专门面向机器学习的Python开源框架，它实现了各种成熟的算法，容易安装和使用

Scikit-learn的基本功能有分类、回归、聚类、数据降维、模型选择和数据预处理六大部分

## 1.6 数据科学计算平台—Anaconda ##

Anaconda是一个集成的Python数据科学环境，简单的说，Anaconda除了有Python外，还安装了180多个用于数据分析的第三方库，而且可以使用conda命令安装第三方库和创建多个环境。相对于只安装Python而言，避免了安装第三方库的麻烦

conda：一个工具，用于包管理和环境管理，其中

包管理与pip类似，管理python第三方

环境管理能够允许用户使用不同版本的Python，并能灵活切换

Win+R：运行CMD命令； conda –V：显示python版本，说明环境变量设置成功； conda upgrade -all ：先把所有工具包进行升级

### Jupyter Notebook的使用 ###

Jupyter Notebook（Julia+Python+R = Jupyter）基于Web技术的交互式计算文档格式，支持Markdown和Latex语法，支持代码运行、文本输入、数学公式编辑、内嵌式画图和其他如图片文件的插入，是一个对代码友好的交互式笔记本

1. Jupyter Notebook中的代码输入与编辑

Files 基本上列出了所有的文件，

Running 显示了当前已经打开的终端和Notebooks，

Clusters 由 IPython parallel 包提供，用于并行计算。 若要创建新的Notebook，只需单击页面右上角的New按钮，在下拉选项中选择python3，即可得到一个空的notebook界面如图1-3所示

![5d024f58f97d4a1a8f1a7e25187f310e.png][]

主要由以下部分组成： notebook标题、主工具栏、快捷键、notebook编辑区

若要重新命名notebook标题，可选择File |Rename，输入新的名称，更改后的名字就会出现在Jupyter图标的右侧

![43232be0077a4b97b60fded51b68223e.png][]

在编辑区可以看到一个个单元（cell）。如图1-4所示，每个cell以“In\[ \]”开头，可以输入正确的Python代码并执行

例如，输入"python " + "program"，然后按“Shift+Enter”，代码将被运行后，编辑状态切换到新的cell

选择Insert |Insert cell above，则在当前cell上面会添加一个新的默认是code类型的单元。通过选择cell | cell type菜单选择Markdown(标记)，这样就可以获得一个优美，解释性更强的Notebook

Notebook还具备导出功能，可导出为如下几种形式的文件： HTML、Markdown、ReST、 PDF(Through LaTex)、Raw Python

### Jupyter notebook中的常用快捷方式 ###

![02ae78e2021740f3bc2f76f37a983c36.png][]

Markdowm：Markdown 是一种轻量级标记语言，它允许人们使用易读易写的纯文本格式编写文档

**创作不易 觉得有帮助请点赞关注收藏~~~**

[e0fbddcdc16e461ca20962d2119d89fe.png]: https://img-blog.csdnimg.cn/e0fbddcdc16e461ca20962d2119d89fe.png
[9c6fc7c87de249e287aed6c409a01d30.png]: https://img-blog.csdnimg.cn/9c6fc7c87de249e287aed6c409a01d30.png
[475674fd46b14881809c5441adac7729.png]: https://img-blog.csdnimg.cn/475674fd46b14881809c5441adac7729.png
[8dcffc902fa34139b865980624efa6bb.png]: https://img-blog.csdnimg.cn/8dcffc902fa34139b865980624efa6bb.png
[1242ff499c364a5db3746c90505a3a14.png]: https://img-blog.csdnimg.cn/1242ff499c364a5db3746c90505a3a14.png
[44f469ed65bd4a0288d684ede0324558.png]: https://img-blog.csdnimg.cn/44f469ed65bd4a0288d684ede0324558.png
[96b60cbb59244b38af39b8f74fc9d838.png]: https://img-blog.csdnimg.cn/96b60cbb59244b38af39b8f74fc9d838.png
[35d7fc405d1a46309cd033189e36294f.png]: https://img-blog.csdnimg.cn/35d7fc405d1a46309cd033189e36294f.png
[5d024f58f97d4a1a8f1a7e25187f310e.png]: https://img-blog.csdnimg.cn/5d024f58f97d4a1a8f1a7e25187f310e.png
[43232be0077a4b97b60fded51b68223e.png]: https://img-blog.csdnimg.cn/43232be0077a4b97b60fded51b68223e.png
[02ae78e2021740f3bc2f76f37a983c36.png]: https://img-blog.csdnimg.cn/02ae78e2021740f3bc2f76f37a983c36.png