大数据对可视化带来的挑战和意义

 本文是本人毕业论文的议题的一部分。虽然内容都是些泛泛而谈的内容但毕竟是查资料后写出来的，还是值得发出来留存，如有错误请不吝指正。

在当今社会信息化领域中，大数据是近年来计算机领域中一个热门研究方向体量大、类型多和速度快是大数据的显著特征。目前，15%的信息是结构化信息，便于存储在关系型数据库中。电子邮件、视频、呼叫中心对话和社交媒体等非结构化信息占85%。这对于运用常规的业务情报工具来提取有意义的信息造成了挑战。传感器、平板电脑和移动电话等产生信息的设备继续成倍增加。根据专业网站统计，2012年新增的数据量在2.7-3.5ZB之间,几乎是2011年的两倍。美国市场研究公司IDC则预计至2020年这一数据将增长50倍。仅facebook在2012年平均一天产生的社交数据（大部分是非结构化数据）就超过500TB。对于大数据没法用传统的办法在可以容忍的时间范围内完成存储、管理和处理任务，只有通过更先进的方法和技术来实现信息的收集、存储、分配、管理和分析，这些技术的包括云计算、云存储、海量并行处理架构（MPP）、分析沙箱、单点分析、数据可视化。

随着全世界的联系更加紧密，社交网络加速发展，由量变到质变，这些共享信息的选择意味着公众、企业间互动方式的根本转变。 数据的本质是资产，如何盘活资产，使其为国家治理、企业决策、个人生活服务是大数据的核心议题，也是云计算的最终方向。大数据将为人类的生活创造前所未有的可量化的维度。大数据已经成为了新发明和新服务的源泉，而更多的改变正蓄势待发。谷歌、微软、亚马逊、IBM、苹果、facebook、twitter、VISA等大数据先锋纷纷展示了其应用：大数据的核心就是预测，通过大数据关联来查找事物发展变化的趋势。

对于大数据的存储、管理和处理任务离不开云计算，而与人交互离不开数据可视化。数据可视化是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程，是大数据信息处理最为重要的环节。数据可视化不仅能够帮助数据的最终呈现，也对发现数据中新的信息气到了非常关键的作用。大数据以其大而庞杂的特点带给了数据可视化更大的挑战，这意味着数据在获取、分析、过滤、挖掘、表述、修饰、交互，都需要有所创新。

超大规模数据可视分析中用户界面与交互设计的前沿挑战：人机交互在许多计算机科学领域的发展中一直是个需要重点解决的问题。可视化分析也不例外。数据量的显著增长不可避免地使得原有的问题更加复杂。以人为中心的用户界面与交互设计面临的挑战是复杂和多层次的，并且在不同领域都有交叠。

在以往的数据可视化应用中，想要充分利用数据的复杂性来提供有意义的数据呈现方案，需对统计学、数据挖掘、图形化设计及信息可视化多个学科领域有足够的了解。在这个信息时代，需要进行可视化数据应用的人群迅速扩大，促进了新的、更加智能的数据可视化工具的出现，为更大范围的人民提供了接触可视化思想的机会。不同的用户需求必然导致可视化工具的发展，以往单一反战技术专业的（依赖特定领域的）过分分散复杂的的可视化工具逐步开始派生发展到跨专业的（不依赖于特定领域的）功能集成的可视化工具。新的可视化工具提供了一种快捷方式，仿佛是一个黑箱，允许非技术用户在不必学习如何使用复杂模型和多媒体软件的情况下，能够对一学科或多学科进行数据的可视化呈现。

与一般性存储应用的可视化方案不同，由于面对的是大数据，所以在数据获取和统计方面是难点。例如统计当前云存储系统的文件总量，亦是一个难以解决的问题：一方面时效性难以把握，另一方面文件总量是不断变化的，令结果值总有误差。这个问题必须从底层、从云存储系统的设计角度去解决，例如在元数据服务器存储尽量多的文件元数据，同时计算和存储统计模型数据等等，同时必须意识到：当数据集达到一定数量级，那么必须允许统计值存在允许的误差。一些开源项目如hadoop、openstack在这方面给我们以启示。

在数据的呈现与交互方面，大数据分析亦带来了挑战和价值。统计图和主题图，不同的需求导致了不同的数据呈现和交互方式。但每次根据不同的需求去更改设计是个劳心费力的工作，我们需要同时带有用户驱动的数据简化模型、高可扩展性与多级层次的数据可视化工具。

大数据给数据可视化带来了挑战，同时也是数据可视化新的突破点。由于缺少低廉的资源库、开发框架和工具，基于高新能计算的可视分析应用的快速研发收到了严重的阻碍。而数据可视化的发展趋势又要求最终能做成一个黑箱，允许非技术用户在不必学习如何使用复杂模型和多媒体软件的情况下，能够对一学科或多学科进行数据的可视化呈现。这也是我们面对的终极挑战。