大数据的浅显分析与假想

本是古典何须时尚 2024-04-17 20:04 96阅读 0赞

首先大数据目前没有一个明确的定义，普遍采用4v来描述volume（量大），variety（类型多）、velocity（处理速度快）、value（价值密度低）。

**一是数据体量巨大。**百度资料表明，其新首页导航每天需要提供的数据超过1.5PB（1PB=1024TB），这些数据如果打印出来将超过5千亿张A4纸。有资料证实，到目前为止，人类生产的所有印刷材料的[数据量][Link 1]仅为200PB。

**二是数据类型多样。**现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝对多数。

**三是处理速度快。**数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。

**四是价值密度低。**以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。

## 大数据的作用 ##

**第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。**[移动互联网][Link 2]、[物联网][Link 3]、社交网络、数字家庭、[电子商务][Link 4]等是新一代信息技术的应用形态，这些应用不断产生大数据。[云计算][Link 5]为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的[经济][Link 6]和社会价值。

大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的[数据分析][Link 7]和激发管理创新的环境(Ramayya Krishnan,[卡内基·梅隆大学][Link 8]海因兹学院院长)。

**第二，大数据是信息产业持续高速增长的新引擎。**面向大数据市场的新技术、[新产品][Link 9]、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对[芯片][Link 10]、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等[市场][Link 11]。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

**第三，大数据利用将成为提高[核心竞争力][Link 12]的关键因素。**各行各业的决策正在从“业务驱动” 转变“数据驱动”。

对大数据的分析可以使[零售商][Link 13]实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的[营销策略][Link 14]提供决策支持；可以帮助[企业][Link 15]为[消费者][Link 16]提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进[经济发展][Link 17]、维护社会稳定等方面的重要作用。

**第四，大数据时代科学研究的方法手段将发生重大改变。**例如，[抽样调查][Link 18]是[社会科学][Link 19]的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

**大数据的关键技术：**

**数据的采集和迁移、数据的存储和管理、数据的处理和分析、数据安全和隐私的保护**

[数据采集][Link 20]：主要通过爬虫进行采集其他同行或者自己所需要的数据。ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到[数据仓库][Link 21]或[数据集市][Link 22]中，成为[联机分析处理][Link 23]、数据挖掘的基础。（例如我之前做过的某黄车的数据分析采集数据部分肯定是他们自己的数据库以表的形式进行数据的采集这样就有了数据源，获得数据源之后就是[数据清洗][Link 24]（包含转换等））；

[数据存取][Link 25]：[关系数据库][Link 26]、NOSQL、SQL等。[云存储][Link 27]、分布式文件存储等。比如，电商会使用传统的关系型数据库MySQL和[Oracle][]等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集、存储。

**数据的处理和分析：**自己可以通过自己写一些简单的代码来处理一些数据进行试验（出现什么结果是什么原因），这些数据经过处理已经格式统一，如果成功就可以对代码进行优化提高数据处理和分析的速度，然后进行打包放置于服务器端与之前的清理进行结合甚至可以得到即使的数据分析，还可以采用分布式先进行测试及时处理的数据量有多大然后分布式的处理这些数据当然也可以运用集群通过负载均衡进行处理，这样如果出现问题可以及时解决从而减小损失或增加利润（纯属自己瞎想看看就好）（个人倾向分布式不同地域不同环境不同结果可控范围内精细可以使数据的准确性大大提高）；接下来是常规处理：利用分布式并行编程模型和计算框架，例如Hadoop的Man-Reduce计算框架和spark的混合计算框架，结合模式识别、人工智能、机器学习、数据挖掘等，进行在线分析。与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。

有利必有弊，越好的东西存在的问题也就越尖锐，安全问题比如某某通信公司出售用户的个人信息，使得很多人烦恼，甚至于被骗之后造成诸多问题，这就需要行业制定标准信息泄露同行排斥，国家出台相关法规从重处罚，（之前的准大学生被骗自杀不就是信息泄露就是数据的锅），还有容量、延迟、成本、数据积累等诸多问题这些就需要进行合理的规划，就像项目开发之前的成本估算一样进行预估采取最合理的方式获取最大利益

[Link 1]: https://wiki.mbalib.com/w/index.php?title=%E6%95%B0%E6%8D%AE%E9%87%8F&action=edit
[Link 2]: https://wiki.mbalib.com/wiki/%E7%A7%BB%E5%8A%A8%E4%BA%92%E8%81%94%E7%BD%91
[Link 3]: https://wiki.mbalib.com/wiki/%E7%89%A9%E8%81%94%E7%BD%91
[Link 4]: https://wiki.mbalib.com/wiki/%E7%94%B5%E5%AD%90%E5%95%86%E5%8A%A1
[Link 5]: https://wiki.mbalib.com/wiki/%E4%BA%91%E8%AE%A1%E7%AE%97
[Link 6]: https://wiki.mbalib.com/wiki/%E7%BB%8F%E6%B5%8E
[Link 7]: https://wiki.mbalib.com/wiki/%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90
[Link 8]: https://wiki.mbalib.com/wiki/%E5%8D%A1%E5%86%85%E5%9F%BA%C2%B7%E6%A2%85%E9%9A%86%E5%A4%A7%E5%AD%A6
[Link 9]: https://wiki.mbalib.com/wiki/%E6%96%B0%E4%BA%A7%E5%93%81
[Link 10]: https://wiki.mbalib.com/wiki/%E8%8A%AF%E7%89%87
[Link 11]: https://wiki.mbalib.com/wiki/%E5%B8%82%E5%9C%BA
[Link 12]: https://wiki.mbalib.com/wiki/%E6%A0%B8%E5%BF%83%E7%AB%9E%E4%BA%89%E5%8A%9B
[Link 13]: https://wiki.mbalib.com/wiki/%E9%9B%B6%E5%94%AE%E5%95%86
[Link 14]: https://wiki.mbalib.com/wiki/%E8%90%A5%E9%94%80%E7%AD%96%E7%95%A5
[Link 15]: https://wiki.mbalib.com/wiki/%E4%BC%81%E4%B8%9A
[Link 16]: https://wiki.mbalib.com/wiki/%E6%B6%88%E8%B4%B9%E8%80%85
[Link 17]: https://wiki.mbalib.com/wiki/%E7%BB%8F%E6%B5%8E%E5%8F%91%E5%B1%95
[Link 18]: https://wiki.mbalib.com/wiki/%E6%8A%BD%E6%A0%B7%E8%B0%83%E6%9F%A5
[Link 19]: https://wiki.mbalib.com/wiki/%E7%A4%BE%E4%BC%9A%E7%A7%91%E5%AD%A6
[Link 20]: https://wiki.mbalib.com/wiki/%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86
[Link 21]: https://wiki.mbalib.com/wiki/%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93
[Link 22]: https://wiki.mbalib.com/wiki/%E6%95%B0%E6%8D%AE%E9%9B%86%E5%B8%82
[Link 23]: https://wiki.mbalib.com/wiki/%E8%81%94%E6%9C%BA%E5%88%86%E6%9E%90%E5%A4%84%E7%90%86
[Link 24]: https://zh.wikipedia.org/wiki/%E6%95%B0%E6%8D%AE%E6%B8%85%E6%B4%97
[Link 25]: https://wiki.mbalib.com/wiki/%E6%95%B0%E6%8D%AE%E5%AD%98%E5%8F%96
[Link 26]: https://wiki.mbalib.com/wiki/%E5%85%B3%E7%B3%BB%E6%95%B0%E6%8D%AE%E5%BA%93
[Link 27]: https://wiki.mbalib.com/wiki/%E4%BA%91%E5%AD%98%E5%82%A8
[Oracle]: https://wiki.mbalib.com/wiki/Oracle