ACM CHI 有趣论文摘选（pen + touch 方向）

ACM CHI 是人机交互、普适计算领域的世界顶级会议，其全名为Conference on Human Factors in Computing Systems（计算机系统中的人为因素会议），通常简称为CHI(发音为kai)。CHI是由ACM人机交互特别兴趣小组(SIGCHI)组织的。参加会议的有学者、从业者和行业人士，得到Google、Microsoft、Facebook、Bloomberg、PayPal、Apple、IBM、阿里、百度、华为等公司的大力赞助。

有人认为“所有计算机问题都可以归结为算法，也就是数学问题”，这不过是现代毕达哥拉斯学派式的想法罢了。现代计算机学科由于要解决人类社会面临的许多问题，因此与许多其他学科产生了交叉，而不仅仅只关心数学问题。其中人机交互就是设计、编程、心理学的交叉学科，并非应用数学的直接分支。正如人类还未充分地理解自己的大脑一样，人机交互中间许多因素也未规则化，因此无法建立完备的数学模型进行计算，只能采用经验性的理论或心理学假说辅助计算。所以在人机交互领域中，我们能经常看到一些很有趣的点子、工具和想法，不断探索着人类对自己和世界的认知边界。由于数据可视化也可认为是人机交互的子分支，所以该会议上也有很多可视化领域的论文发表。

毕达哥拉斯学派是古希腊的一个客观唯心主义哲学学派。是西方世界发现勾股定理的毕达哥拉斯创立的，其核心观点是数本原说：即世界的本源是数字，相信数学可以使得灵魂升华。毕达哥拉斯建立了秘密教团，有诸如禁止吃豆子、不碰白公鸡之类的宗教戒律。关于毕达哥拉斯学派最有名的一个故事就是毕达哥拉斯的弟子希帕索斯根据老师的勾股定理，推理出了无理数，但这与毕达哥拉斯数学为万物之源的概念直接矛盾。因为数本原说的一个重要理由就是数字单元可构造一切事物的几何形状，然而当时的人无法接受无理数作为数字单元。毕达哥拉斯为了维护自己的学说，竟然命令其信徒将希帕索斯扔到了大海里淹死了。但无理数的概念，最终还是流传了下来。而毕达哥拉斯教团维持了100多年就解体了。

2020年CHI会议在火奴鲁鲁举行。论文总览地址 。以下是我个人认为的与pen + touch交互方式相关的有趣论文的摘选：

texSketch: Active Diagramming through Pen-and-Ink Annotations

摘要机翻：从文本中学习是一种建设性的活动，其中读者将句子级的信息组合起来以建立连贯的心理模型。 随着文本的日益复杂，由于缺乏背景知识以及工作记忆和注意力的局限性，形成心理模型变得具有挑战性。 为了解决这个问题，我们教给知识外在化策略，例如主动阅读和图解。 不幸的是，纸笔方法可能并不总是合适的，并且软件解决方案通过困难的输入方式，有限的工作流支持以及阅读和绘图之间的障碍而产生摩擦。 除了最简单的文字外，构建连贯的图表可能既繁琐又困难。 我们提出了主动图解法，一种将熟悉的主动阅读策略扩展到图解构建任务的方法。 我们的原型texSketch将笔墨交互与自然语言处理结合起来，以降低生成图的成本，同时保持理解所必需的认知努力。 我们的用户研究发现，读者可以有效地创建图表而不会影响阅读。

评价：人天生喜欢直接通过语言交流或者看图和动画获取信息，而不天生擅长阅读文字。阅读需要大量练习才能掌握，而且人类总有3%-10%的人受先天性阅读困难症困扰。如果看文章很直观很轻松的事，就不会有这么多听书软件、数据可视化软件的出现了。我曾经想过如果能根据一篇文章中直接机器生成漫画（或者其他表达方式），阅读效率将大大提高。但漫画的创作空间是非常大的，如何确保机器生成的漫画能表达文章原意，现有技术还有很多理论问题没有解决。而这篇文章相当于给出了一种在人工交互的干预下，生成因果图、概念图、无约束笔记的方式。用户通过pen +touch 的方式选择一篇文章中的内容，然后通过NLP的实体提取功能将重点内容提取，然后由用户组织成一个概念图。这样的交互对于文章的阅读理解有很大的好处。该系统是一个高效地做笔记的工具，作者正与教师和中学生合作，在课堂上部署教学计划，以评估学习目标和干预策略。但如果能进一步改善其自动化水平和可操作性，那么对于很多大学生、研究生和科技工作者看论文也将十分有用。

 

DataQuilt: Extracting Visual Elements from Images to Craft Pictorial Visualizations

摘要机翻：近年来，人们对个人可视化的创作和制作越来越感兴趣。主流数据分析和创作工具缺乏定制和个性化的灵活性，而研究界的工具要么需要创造力和绘图技能，要么仅限于简单的矢量图形。我们介绍了DataQuilt，这是一个新颖的系统，可让可视化作者将图画可视化作为拼贴进行迭代设计。真实图像（例如绘画，照片，素描）既是灵感，又是可以映射到数据的视觉元素的资源。创意流水线包括在计算机视觉技术的帮助下半指导提取图像的相关元素（任意区域，规则形状，调色板，纹理）；这些图形元素及其特征与数据的绑定，以创建有意义的可视化；以及通过直接操作来迭代完善功能和可视化效果。我们通过来自第二个开放式研究的一系列作者可视化文件，证明了DataQuilt在受控研究中的可用性及其表达能力。

评价：这是一篇我之前看过的文章。就是在传统的交互式data-drive图表制作软件（如Data illustrator， charticulator）基础上，增加了从素材上提取图像的相关元素（任意区域，规则形状，调色板，纹理）加入可视化图表制作的内容。整个软件使用pen +touch的方式进行交互，相对Data illustrator， charticulator更具易用性。

EmoG: Supporting the Sketching of Emotional Expressions for Storyboarding

摘要机翻：故事板是一种重要的构思技术，它使用顺序艺术来描绘用户体验的重要场景。对故事板的现有数据驱动支持侧重于构建用户故事，但未能将其作为一种图形叙事设备加以利用。相反，我们建议开发一个数据驱动的设计支持工具，通过方便地绘制故事板来提高用户故事的表达能力。为了探索这一点，我们专注于支持故事板中人物情感表达的草图。在本文中，我们提出了EmoG，一个交互式系统，它可以根据用户输入的笔划生成带有情感表达的字符草图。在一项对照研究中，我们对21名参与者进行了EmoG评估。结果表明，我们的工具在有用性、易用性和结果质量方面都比基线系统有显著的提高。

个人评价：看了摘要和3分钟的宣传视频后，我开始以为这是一个pen+touch的漫画绘图工具，满心欢喜地以为它可以画漫画。然后我找到了该项目实际试用了一下，结果我只能在男女两个脸部模板上画人物表情，设计空间非常受限，想画复杂点的漫画是不可能的。最后我看了一下论文，发现这篇论文可能应该放到我另一篇“机器学习方向”的论文汇总中。本文的核心工作都放在了机器学习上，先是召集了一批设计师绘制了一批面部特征的矢量图作为训练集（对105种眉毛、96种眼睛、86种鼻子、98种嘴巴这四大组件进行排列组合后共249528幅图），然后使用该团队的深度学习模型AI-Sketcher进行训练，最终该模型可以根据用户的手写输入顺序和输入结果，推荐6种推荐表情（开心、悲伤、生气、害怕、惊讶、不屑）和3种视角（正面、左侧面、右侧面），从而帮助缺乏绘画能力的用户快速制作故事板漫画。所以本文其实是一种基于人工智能的绘画辅助建议系统。受限于训练集规模，该软件的设计空间很小，所以其用户研究预定义了每个故事板中角色的表达类型、表达强度和视角。如果以绘制普通漫画为目标，该软件还有很大的升级空间。如果能收集足量的数据，未来DLC可以这么卖：阿猫阿狗画图推荐、室内场景画图推荐、城市场景画图推荐......

按照我看的另一篇关于绘图软件需求的调研文章（How Domain Experts Create Conceptual Diagrams and Implications for Tool Design），本文可以分类到Exploration support -->自动化设计类（例如识别手绘图自动生成UI组件或3D模型。）所以还是姑且把本文放到pen+touch绘图软件的分类里。