Telling Stories about Dynamic Networks with Graph Comics

发布于 作者:

使用漫画方式进行动态网络叙事

一，概述

微软研究院、爱丁堡纳皮尔大学、卡尔加里大学联合提出了一篇文章，提出使用漫画作为传递动态网络变化特征的媒介。在以往的研究中，学者主要侧重于将动态网络可视化以进行数据探索，而本文的作者则试图借助漫画的视觉表现力和亲和力来向观众呈现和解释网络的时序变化。为了证明漫画作为讲故事媒介的潜力，本文作者首先在三个月的结构化设计过程中设计了各种漫画，包括公共教育和神经网络。这个过程导致了8个设计要素，用于创建图表漫画。定性研究的结果表明，一般受众可以通过图形漫画快速理解复杂的时间变化，提供最少的文本注释，无需培训。

虽然可视化社区已经产生了大量用于数据探索的技术，但是如何传达从先前的探索中获得的见解的研究却更少。例如节点链接图对于探索网络的密度和动态，基本不需要观众做任何培训，因此被认为相对于矩阵表达方式更适合沟通。最近的研究集中在静态网络的沟通表达上。但是如何展示动态网络中的时序变化，依然是是一个开放的挑战。

在这篇文章中使用漫画方式作为沟通策略。漫画作为一种流行的媒介，漫画将视觉和文本结合成一种富有表现力和灵活性的语言来传达事件序列。这些功能有望传达复杂结构（如网络）的时间变化。漫画的优点包括：可用于印刷和数字格式; 支持文字和口头描述; 将叙述与视觉紧密结合。

在本文中，提出使用漫画作为传递动态网络变化特征的媒介。虽然McCloud [35,36]提出了一种在艺术中创作漫画的综合理论，但本文研究了漫画在数据驱动的叙事潜力。本文作者报告了用于设计图形漫画的迭代过程，并提出了八个要考虑的因素来创建一致的漫画。我们提供了来自定性研究的经验证据，其中有10名参与者证明一般受众可以在没有培训的情况下解释图形漫画，并且只需要最少的文本注释。本文作者创建的漫画案例可以在下面这个网站看到：http://graphcomics.azurewebsites.net. （我试了，已经过期不能访问，所以大家还是访问下面这个吧https://www.microsoft.com/en-us/research/publication/telling-stories-dynamic-networks-graph-comic/）

二，相关工作

1.动态网络可视化探索技术（Visually Exploring Dynamic Networks）

对于动态网络，过去的研究侧重于如何创建交互式可视化。以下三篇综述[8,29,4]回顾了一百多种技术，大致将它们分类为基于动画的可视化[26,6]，小时间[45]，时间映射到空间，混合技术[39,5]。

本文的重点是沟通从网络动态中获得的见解。即将顶点和边缘承载的结构和/或数据属性随时间变化，有效地传达给观众。虽然现有的系统都没有明确地设计用于沟通，但其中一些系统包含改进网络时间变化沟通的策略。例如，GraphDiaries [6]使用动画分阶段转换来强调在网络中添加或删除的节点集，同时保留整体上下文。DiffAni [39]使用小倍数，动画和差异图的组合来强调不同细节层次的特定变化或传达网络的整体状态。

但关于如何传达有关动态网络的见解的想法仍然缺失。例如，如何能够传达在很长一段时间内间歇性发生的变化，或与请他很多事件一起并行发生的变化？我们直接研究如何使用漫画中的技术来传达有关动态网络的见解。

2.可视化叙事（Storytelling with Visualizations）

通过数据可视化或数据驱动的叙事来传达洞察力是研究界越来越感兴趣的话题[16,41,22,34,24,31,10]。数据驱动的讲故事的例子现在常用于新闻业（例如，纽约时报，Le Monde），并且也成功地用于科学传播[34]。Segel和Heer [41]首先描绘了叙事技巧，确定了七种类型。

从那以后，出现了几种创作系统。例如，SketchStory [32]提出了一种实时演示技术，而Ellipsis [40]，Contextifier [23]和sense.us [20]提供了一个创作环境，通过注释和机制来增强现有的可视化以引发故事线。虽然最近的研究已经研究了几种讲故事的媒介，例如信息图[7,9]或数据视频[2]，但许多这些类型，包括漫画，还没有被研究过它们传达动态网络洞察力的交流潜力。

最密切相关的工作是Spritzer等人，他们的目的是支持交流节点链接图的创作[43]，但却没有解决网络的时间方面问题。

3.使用连环画叙事（Storytelling with Sequential Art）

使用一系列连续的小图像（连环画）来讲述故事，这种方式可追溯到一万七千年前，拉斯科洞穴壁画时代。按线性顺序阅读，图像序列意味着两个方面：描绘时间的进展（变化）和叙事时间（故事）的进展。漫画也是一种经过深思熟虑的交流媒介，由Scott McCloud [35,36]和Neil Cohn [14]等人详细描述。这使我们能够在现有的语法和理论的基础上进行构建。漫画最近启发了信息漫画[12,27]，用于教育和学术界[25]，健康教育[37]和科学传播[44]。

但是支持创建信息漫画的系统不是很多。赵等人探索了使用文本和布局面板手动增加图表的方法[49]，而其他人则探讨了从时间图像序列（包括视频和相册）中自动生成漫画以用于讲故事[13]，以及在传统漫画中辅助创建纹理 [28]。考虑到动态网络的故事叙述，漫画的优势在于允许读者控制信息传达的速度[13]，而不是依赖于读者对动画或视频所需的先前事件[16]的记忆。此外，与单独的书面文本[18]相比，它们能够在狭小的空间内高效，有效地传递复杂的信息。

4.图表漫画示例（GRAPH COMIC EXAMPLE）

图3（上图）给出了一个图形漫画示例，描述了第一次世界大战前期欧洲外交局势的演变。这个例子来自与一位高中老师的讨论，他评论说，在第一次世界大战之前的欧洲联盟的变化一直很难与学生沟通。随着时间演变，历史事件导致一系列错综复杂的联盟和冲突。本文作者的示例（图3）将复杂性分解为逻辑块，并为每个块提供解释。文本显示有关导致联盟或冲突的事件的信息，而视觉传达图形拓扑和更改。使用在地理地图上布置的节点链接图来描绘国家及其关系。链接宽度编码关系的强度（厚=联盟，瘦=支持），链接颜色和纹理其性质（黑色=支持，红色虚线=冲突）。正式联盟由不同颜色表示。图表漫画中的面板代表时间段，具体取决于事件和更改的数量和重要性。

图形漫画中的拓扑变化主要通过连续面板之间的差异来感知（面板1873）。然而，为了强调特定的变化，可以使用诸如箭头或虚线之类的符号（最后一个面板，8月6日）。此外，也可以改变细节水平并引导读者注意。例如，若干面板呈现网络的放大版本（例如，面板1837）以引导读者注意此时起重要作用的国家的子集。相反，其他面板描绘整个网络（例如，面板1907）并用作上下文，以强调重要的网络拓扑并总结先前的变化。

高中教师的初步反馈表明，图表漫画可以促进网络时间变化的沟通。当前的教科书插图（例如图2（b））经常在参加讲座和/或阅读描述网络变化的文本后用作参考和摘要。相比之下，图形漫画可以支持传达变化本身。在看了这个漫画图之后，高中教师向本文作者指出了历史课程中的更多实例故事：经济依赖，政党之间的合作和联盟，王室血统，组织结构，以及影响历史人物网络或影响链。

三、设计过程

本文的工作流程，如上图所示，总共分为6个步骤。

1.了解传统漫画

首先收集了图表，漫画文献[35,36]和类似于漫画的图片。由于漫画的设计空间非常大，我们专注于传统漫画视觉语言中的5个重要元素（图4.1）：

  1. 面板：显示片刻的单独图片，系列面板（条带）可以传达不同的状态并暗示时间演变。
  2. 角色：漫画中的演员（人或者物体），可能包括各种物体的世界中行动和互动。
  3. 世界：漫画中的背景和上下文
  4. 特效：专门说明角色变化的与时间相关的元素，包括箭头，速度线和表示声音的文本注释
  5. 文本：用来做额外描述，通常可以用泡泡、框框进行分组。

 

数据驱动漫画的5项挑战；

  1. 元素身份：传统漫画中的人物可以通过其独特的视觉特征来识别。在图形可视化中，节点和边缘通常由圆圈表示，有时使用标签进行标识。没有传统漫画中那么明显。
  2. 描绘变化： 即使没有明确显示，读者也可以推断出变化。例如，显示的婴儿暗示它已经诞生。在图表中，显示的（新）节点并不意味着它之前没有。
  3. 事件顺序 - 许多变化表现出自然秩序（例如人类变老，物体倒下，白天变成夜晚）。图表的变化没有自然顺序也没有持续时间; 群集可以增长或缩小，分割或合并。
  4. 空间背景 - 在漫画中，场景的空间背景通常由面板背景指示：相同的背景意味着相同的地方并且通常是相同的场景。而图可视化中，读取器可能无法识别将空间上下文从一个群集切换到另一个群集（均由节点和链接组成）。
  5. 元素数量 - 漫画通常在每个面板中显示一小组字符。图表中的更改可能涉及比在面板中显示的元素多得多的元素。

2.图形变化的展示设计

第二步是找到可能代表图形对象，它们的属性以及它们可能发生的可能变化的可视化编码。表示节点用原型，表示集群用范围或者圆角矩形。表示变化可以用形状的编号或者箭头等。

3.设计原则

我们的设计原则定义何时应使用某些视觉标记及其属性（例如圆圈，线条样式，箭头），何时不使用。
基本原则是一致性：视觉编码在同一漫画中不应有两种不同的含义; 如果箭头表示移动，则不应编码对象移除。

4.创建漫画

首先由用笔和纸为同一个故事绘制几个漫画，以获得最高程度的创作自由。最后再用矢量工具全人工制作。经过讨论和迭代，收集了8个设计因子集合，详细见设计因素一节。

5.与领域专家讨论

与认知心理学家、教育领域专家讨论，进行有效性验证。

6.阅读研究

验证图形漫画是否能更有效地传达图的变化。选择了三部漫画并改进了他们的故事，从我们的设计因素中涵盖了尽可能多的案例。根据我们的研究结果，我们最终确定了设计因素的描述，并删除了不易理解的设计方案。

四、图表漫画的设计要素

F1. 图表元素的选择

与传统漫画不同，对于图形漫画，可用设计元素限于三个类：节点，链接和组（或集群）。总而言之就是与人们熟悉的节点链接图类似。通过使用独特的形状，颜色或其他视觉编码（图5）以及文本标签，可以进一步区分这些标记。

F2. 变化的可视化呈现

  • 之前之后的状态：读者通过一种称为闭包的机制[35]推断出通过比较两个面板的内容而发生了哪些变化。
  • 过渡和快速推进：建议使用一连串组合面板来表示，这一连串面板组合面板减小水平宽度，只用细线分隔，类似于排比句。
  • 变化的符号表示：可以使用许多符号中的一个来显示变化，包括箭头以指示移动方向，突出显示火花或显示外观的火花，或生长的符号。
  • 抽象的度量表示：当要表示的变化不适合紧凑的符号表示时，可以采用替代技术。

F3：展示变化的时间性

传统漫画的读者可以通过用于表示动作的面板的数量以及通过类比现实世界来合理地猜测事件的持续时间（例如，一个面板描绘夜间，下一个描绘白天）。图形漫画需要额外的技术和注释来说明并行或重复发生的变化，并明确编码时间持续时间。

  • 连续变化：与传统漫画一样，我们利用面板的水平顺序来暗示面板的时间顺序，即从左到右意味着向前移动。请注意，在传统漫画中，面板大小并不总是与持续时间成比例。同样，在图表漫画中，面板应该适合所有必要的元素。
  • 并行发生的变化：在同一面板中更好地描述了并行发生的变化。如果因为其他原因不呢这么做，一个替代选项是将面板垂直分割成细线（图7a），但需要文本注释以确保正确解释。
  • 非线性时间：涉及循环或分支的变化可以通过面板的空间布局来编码，用指示读取方向的箭头进行增强（图7b）。或者，符号（例如，编码重复的乐谱）可以提供表示非线性时间性但需要注释的紧凑方式。
  • 时间的符号和显式表示 ：为了编码变化的特定时间性，可以象征性地（例如，季节的符号）或明确地传达时间（图7c）。在这两种情况下，我们建议模仿传统漫画并将此时间信息放在面板上方或左上角的框上。

F4. 元素的识别

在传统漫画中，通过角色物理外观的可识别特征以及角色在场景中的位置（C1）来识别重复元素。
在图表漫画中，我们提出了四种识别重复对象的方法（图8）：

  • 可视化编码或标签
  • 固定的位置
  • 多个连续画屏

F5 角色塑造

如何区分主要角色，次要角色和辅助角色？三种方法：

  • 视觉突出
  • 位置（在视觉中心的元素比边缘更重要）
  • 标签

F6 细节层次

  • individual: 单独显示每一个元素
  • grouped: 分组显示每一个元素
  • counted: 计数显示多个元素
  • crowd: 不可数地显示多个元素（只是简单地表达存在）

F 7 概览+细节

几种概览和细节之间的转换方法：

  • bleed: 出血视图
  • cut-out: 一部分突出显示
  • in-place: 类似于fisheye
  • zoom:  缩放

F8: 多变量网络的显示

总的来说要区分多变量还是比较难。如图12所示。

如果用颜色标识的变量类型，最多两种。

五、可读性研究

接下来作者团队找了10人左右的测试人员，阅读图表漫画给予反馈。作者假设：

  • 使用图表漫画不需要专门培训
  • 歧义可以通过讨论解释

具体测试方法如下：遵循类似于快速迭代测试（RITE [38]）的迭代方法来研究图形漫画的可读性。我们准备了三个最初的漫画，包括视觉和注释。在每次会话之后，我们迭代对参与者不明确的设计，并稳步减少注释量，以评估没有文本的视觉效果的可解释性。直到其中所有文本都被剥离。招收参与测试人员的标准是——不是专家。

研究发现：

所有参与者通常正确地解释所有三个漫画，与存在的注释量无关（H1）。虽然注释无疑有助于参与者解决歧义并更快地解释漫画，但这些对于理解漫画并不是必不可少的（H2）。除此以外，还发现：

  • 可以通过上下文理解变化
  • 符号的使用需要注释
  • 对于之前所提出的8种设计原则，基本被接受

六、讨论

漫画可以用来描述网络中的变化吗？可以

图漫画是一个很有前途的故事讲述媒介吗？是

可以有支持图表漫画创作的工具吗？

本文中介绍的图形漫画是手动创建的，用笔和纸迭代并最终对它们进行矢量化。这个过程非常费力。创建工具支持用户创建图漫画，不是本文的描述范畴，但是可以讨论未来的几个研究方向。

首先，本项目简化了图形漫画的创建过程，建议按特定顺序进行图表漫画的创作。进一步研究专家如何绘制漫画以及如何简化创作过程对于为编辑工具的设计至关重要。
根据本文作者的经验，图形漫画的轻量级编辑器，例如扩展现有的SVG编辑器，将大大改善创作过程。它可以包含一个界面，允许创建和布局面板，创建，放置和自定义图形元素，以及添加文本注释。可以支持繁重的手动任务，例如创建元素集以及面板的复制和布局，为更高级别的更改和转换提供可视化模板，以及支持创建简单图表和数据到视觉映射 。

将图形漫画视为现有网络可视化工具的输出会带来进一步的挑战。例如，在大图的情况下，可以帮助作者提取网络的重要部分（例如，关于所选节点或一组“主要演员”）并抽象其余部分（F5，F10）。他还可以被引导到具有显着事件和有意义状态的时间分割[5]。

最后，本文展示了漫画在网络中传达时间变化的潜力。我们希望它能激发对该主题的进一步研究，为创作系统提供基础，并扩展漫画的应用以讲述其他类型的数据结构的故事。