2篇人文艺术领域使用计算机技术做研究的论文简读
最近看了一些人文艺术学科的论文，主要想看看他们是怎么做研究的，以及我们计算机领域如何与他们进行跨领域的研究。经人推荐我从我国外期刊Leonardo上看了两篇相关论文。Leonardo是麻省理工学院出版社出版的同行评审学术期刊，涵盖当代科学技术在艺术和音乐中的应用。
第一篇论文是《A computational study of empty space ratios in Chinese landscape painting from 618–2011》。来自台湾省东吴大学的Guoyan Wang教授。该文章使用计算机方法评估中国山水画（Chinese Landscape Painting, CLP）中留白空间(empty space, ES）的占比。统计后发现，留白空间在元朝达到顶峰，但在1960年代为最低值。
留白是中国画的一个突出特征，从唐朝末年开始流行，在宋元达到顶峰。这些画面上的空白并不意味着什么都没有，而是艺术家故意留下的增加构图吸引力的一种方式。但考虑到当前研究的实用性和计算机自动识别的能力，在本文的研究中将留白空间定义为没有着墨的地方（这个理解是否有点粗暴……）。
用于分析的数据来自于故宫博物院、中国美术馆和专著《中国山水画史》，共933件长方形的中国山水画。它们的时间分布如下表所示。
计算留白空间比率的具体方式简单粗暴：直接手工将图导入photoshop然后用魔棒工具直接选择空白区域，然后读取空白区域所占像素比率。
最后统计结果如下图所示：橙色柱形图表示每幅画中留白比例的平均值，而绿色柱形图表示以留白为主的画作比例（其中每幅画中的ES数量超过一半）。右上角的折线图显示了这两个统计量在时间线上的变化。结果表明，中国山水画的构图风格发生了显著变化。
简单的说，古代山水画含有更多的留白空间（均值为53.4%），而现代山水画含有更少的留白空间（均值只有9.4%）。每个时段的标准差相对稳定，约为15%，表明了数据的一致可靠性。
接下来文章用很大篇幅探讨这种现象的成因。禅文化、文人墨戏、展厅效应、时事政治以及其他社会因素可能对这一转变产生了重要影响。例如，”文人墨戏”是一种即兴创作，是文人士大夫阶层在与朋友交流时创作的，强调“游戏性”和“主观表达”。文人画起源于唐宋时期，在宋元时期得到提炼，在元代达到顶峰。宋代的苏轼（1037–1101）是文人画最有力的倡导者，提倡“诗中有画，画中有诗”。这样的作品逐渐实现了绘画与诗歌甚至书法的融合。这一时期科举的发展使文人阶层进入了官场。科举考试是中国古代通过全国考核选拔官员的一种制度，它使下层有才能的文人进入官场，获得施展才华的机会。因此，文人有权评价画作，不符合文人创作兴趣的画作被认为是次品。由于文人掌握了社会话语权，所以他们的审美趣味深深影响了当时的绘画风格。因此，文人画在宋代成为主流。后来，文人画在元代达到了其影响力的顶峰，而留白这种艺术形式也在元代达到了顶峰。
最后总结一下我的感想。客观的说本文933件中国山水画的样本量其实有点小，但对于人文社科类缺乏数据资料支持的现状来说也算是尽力了。然后本文使用的计算机方法真的很简单粗暴。没有软件开发，没有算法，能手工搞定绝不麻烦别人，人文艺术领域的专家做事就是这么简单直接，只要能达到自己的目的就好。本来我是期待从计算机技术应用角度看到有什么特殊的内容，但很明显这人文社科的专家不考虑这个，或者他们并不知道有其他工具。如果他们知道有更好用的工具可以加速他们的研究，也许他们会很乐意接受。
从这篇文章中很容易看出人文社科领域研究思路与计算机领域的不同。当文章以人文社科为主体时，人文社科领域的研究者会有自己的研究目标，不论采用何种形式去论证，只要能自圆其说即可，计算机方法只是作为从属的工具。而文章以计算机学科为主体时，研究者想要证明自己的价值则需要论证自己的工具相对于传统方法的优越性，而人文社科的研究目标只是作为论证工具有效性的案例。
第二篇文章《Evaluation and Analysis of White Space in Wu Guanzhong’s Chinese Paintings》也是发表在期刊Leonardo上，时间比第一篇文章要早（2019）。文章作者主要来自University of Texas at Dallas的计算机科学技术系的ZhenBao Fan，算是篇技术的一篇文章。
此文主要进行了一项眼动追踪实验，分析国画中的留白对于观众视觉信息处理的影响。作为案例研究，他们分析了知名艺术家吴冠中（1919-2010）的画作，并收集了用户的主观审美评分。研究结果表明，留白不仅仅是一个无声的背景：它被有意设计来传达某些信息，并对观众的审美体验产生重大影响。
该研究分为四个步骤进行：
- 选择画作。
- 在画作中计算显著区域。
- 进行眼球跟踪实验，收集观众的眼球运动数据。
- 对选定画作进行四个维度的美学评级。
这个研究基于一个假设：如果留白不仅仅是一个无意义的背景，而是传达了某些信息，那么它可能会吸引观众注意力。人类对视觉注意力的控制既包括由刺激驱动且快速的自下而上策略，也包括由缓慢且意志控制的自上而下策略。已有研究表明，观众可以在几次最初的眼球运动之后对一幅画或网站进行可靠的美学评估[7-9]。所以本文主要关注视觉注意力的第一阶段，即自下而上的策略，以研究留白是否会影响观众的审美体验。
本文作者选择了吴冠中的代表性画作，并通过计算每副画中的显著性分布，来分析留白是否包含在显著区域中。显著性分布（saliency map）是基于图像特征（如颜色、亮度和方向）组合进行计算, 可以刺激动态神经网络按显著性降低的顺序选择关注的位置。在Matlab中已有成熟的显著性计算工具箱，基于Itti和Koch的显著性模型，可以计算任意给定绘画的显著区域。
结果如图2和图3所示，其中每幅画中都包括写黄色线所圈起来的显著区域。而红色线及数字则代表眼动仪所捕捉的观众对显著区域的观看顺序。每幅水墨画的突出区域至少包含少量留白。实验中，如果白色区域占显著区域的30%以上，则认为显著区域包含留白。
具体眼动实验的过程如下：4名来自天津大学理工专业的参与者被要求在没有给定任何任务的情况下自由观看画作，这样他们就不知道这个实验的目的：留白空间是否会吸引观众注意力。实验采用的眼动仪（Tobii T60 XL眼动仪，TFT屏幕分辨率为1920×1200像素）记录观众的眼球运动。固定持续时间设置为60ms，固定大小设置为10像素。
从实验结果上看，留白确实吸引了观众注意力。此外，留白的大小对于其吸引注意力的显著性有影响，画作中较大的留白可能不会引起观众的注意，观众的注意力会在这种留白的周围移动。但吸引观众注意力的最佳留白大小仍有待未来研究。
除此以外本文还做了一个问卷，调查参与者对于给定画作的美学评价。评价标准有四条，分别是Attractiveness(排斥or吸引)、Stimulation(沉闷or迷人)、Complexity(复杂or简单)、Identity(无法识别or可识别)。在这个试验中，选择了七对描述类似场景的水墨画和油画，让18位参与者打分。从结果上看，7幅水墨画有5幅的复杂度比油画低，但是吸引力方面7幅水墨画有5幅比油画更高。也就是说，使用留白的中国水墨画比西方油画在构图上更简单，但结果更吸引人。不过这个实验设计本身是有些问题的，一个是画作样本量太少，另一个是实验参与者都是中国人，令其结论相对于前一个眼动实验的说服力较低。
最后说说个人感想：这第二篇文章完全是计算机专业的研究者发表在艺术类期刊的文章，带有典型的工科应用风格。其中“计算画作中显著区域”与“眼球跟踪实验 ”继承自CV领域的注意力检测机制，可以定量评判图画/画作中人类注意力的分布。但毕竟这篇文章是发在艺术类期刊上的，所以文章并不是讨论当前注意力检测机制的好坏，而是仅就“留白的意义”这一艺术主题用该方法做论证。理论上，这种新工具套旧目标的方法，可也以批量生产论文。例如这个方法既然可以探讨留白的意义，是否可以探讨某些装饰花纹对于画作/服装/设计的影响？但这样生产的论文也只能发表在艺术类刊物上，还是不能满足我发计算机类论文的需求。后续可以看看这位作者发表的其他论文，考虑一下从计算机角度还有什么点子可以挖。
