简介

摘要

The goal of this chapter is to help authors recognize and avoid a set of pitfalls that recur in many rejected information visualization papers, using a chronological model of the research process. Selecting a target paper type in the initial stage can avert an inappropriate choice of validation methods. Pitfalls involving the design of a visual encoding may occur during the middle stages of a project. In a later stage when the bulk of the research is finished and the paper writeup begins, the possible pitfalls are strategic choices for the content and structure of the paper as a whole, tactical problems localized to specific sections, and unconvincing ways to present the results. Final-stage pitfalls of writing style can be checked after a full paper draft exists, and the last set of problems pertain to submission.

本章的目标是帮助作者识别和避免在许多被拒绝的信息可视化论文中重复出现的一系列陷阱，使用研究过程的时间顺序模型。在初始阶段选择目标论文类型可以避免对验证方法的不当选择。涉及视觉编码设计的陷阱可能发生在项目的中间阶段。在后期阶段，当大部分研究完成，论文开始写作时，可能的陷阱是对论文整体内容和结构的战略选择，局限于特定部分的战术问题，以及无法令人信服地呈现结果的方式。写作风格的最后阶段的陷阱可以在一份完整的论文草稿存在后检查，最后一组问题与提交有关。

关键词

IEEE Symposium（IEEE 研讨会）、Target User（目标用户）、Paper Type（论文类型）、Information Visualization（信息可视化）、Research Contribution（研究贡献 ）

引言

许多被拒绝的信息可视化研究论文都有相似的缺陷。在本文中，我在研究过程的各个阶段对这些常见的陷阱进行了分类。我的主要目标是帮助作者逃脱这些陷阱，尤其是研究生或那些信息可视化领域的新手。当考虑一篇论文的优点时，审稿人也可能会发现这些陷阱是一个有趣的出发点。

本文围绕信息可视化研究过程的时间顺序模型展开。我认为一个项目应该从仔细考虑预期结果的论文类型开始，以避免难以令人信服的验证方法的陷阱。涉及新视觉编码设计的研究项目将受益于检查不合理或不恰当编码选择中的几个中间阶段陷阱。另一个关键的检查点是项目的后期，在大部分工作完成之后，但是在开始写结果之前。在这一点上，你应该考虑整个论文的高层结构的战略陷阱，影响一个或几个部分的战术陷阱，以及你的结果部分的方法细节中可能的陷阱。在最后阶段，当有一份完整的论文草稿时，你可以检查写作风格的低级陷阱，并避免提交时的陷阱。

我选择了一种轻快的风格，追随 Levin 和 Redell 和 Shewchuk 的脚步。我的意图是严肃的，但我试图发明吸引人的—有时甚至是讽刺的—标题，希望能让这些陷阱更令人难忘。撰写研究论文的指南已经在计算机科学的几个子领域完成，包括系统、软件工程、编程语言、网络和图形。项目中后期阶段的许多陷阱一般都适用于研究性写作，而不仅仅是信息可视化，在之前的一篇或多篇论文中已经提到过。

我在信息可视化领域（缩写为 infovis）为作者和审稿人提供建议的第一步是为年度会议编写作者指南。当我担任 IEEE 信息可视化研讨会 InfoVis 2002 的海报主席时，我阅读了 78 篇被拒论文的大约 300 篇评论，以决定邀请哪篇作为海报提交。这一经历让我相信，未来的论文作者将受益于更具体的指导。当我在 2003 年和联合主席 Stephen North 一起担任论文主席时，我们完全重写了 论文征集（Call for Papers）。我们在 2007 年会议期间一直保持不变的作者指南中介绍了五类论文，并明确讨论了每类论文的期望。

第二步的动机是因为我在两年的 InfoVis 论文联合主席任期内所看到的错误模式，我阅读了所有 189 篇提交论文的 700 多篇评论，并在随后的三年里亲自撰写了近 100 篇评论。我在下面对论文类型的讨论大大扩展了以前的作者指南，并且我为每种类型提供了强论文的具体例子。我提供的建议既不完整也不客观；虽然我利用了我作为论文主持人的经验，但我的结论可能是独特的，反映了我的个人偏见。我不做任何定量分析。鉴于软件工程和人机交互的有趣结果，在 infovis 领域这样做无疑将是富有成果的未来工作。

这些陷阱没有一个是针对任何特定的个人的：我已经看到了每一个陷阱的多个实例。尽管在某些情况下，我发现其他优势超过了某个特定的劣势，但一个主要的缺陷往往足以让一篇论文遭到拒绝。我急于指出，我自己也犯了下面列出的一些错误，尽管我尽了最大的努力，但我很可能在将来成为这些错误的牺牲品。

初始阶段：论文类型

开始一个研究项目的一个好方法是考虑你希望它在哪里结束。也就是说，你打算写什么样的论文？这一选择应该指导你的许多下游决策，包括如何验证你对你的研究贡献可能做出的任何说法这一关键问题。

验证方法

有许多可能的方法来验证 infovis 论文做出了贡献的说法（claim），包括:

  • 算法复杂性分析
  • 运行性能(速度、内存)
  • 量化指标
  • 结果图片的定性讨论
  • 用户轶事（发现的见解）/ user anecdotes (insights found)
  • 用户群体规模（采用）
  • 非正式可用性研究
  • 实验室用户研究
  • 针对目标用户群体的现场研究
  • 通过任务分析进行设计论证
  • 理论原则的视觉编码证明

在任何特定的论文中，研究者时间和篇幅的限制迫使作者选择这些验证方法的子集。下面的论文类型分类可以为你选择合适的验证方法提供相当多的指导，从而形成一种论文结构，你的结果可以支持你的说法。这五种论文类型通过区分你的主要贡献的以下可能性来指导你的研究：算法、设计、系统、用户研究或模型。

技术（Technique）

技术论文着重于新的算法以及预期的实现。最直接的例子是，研究贡献是一种新算法，它改进或提高了以前工作中提出的技术。一个典型的说法是，新算法比以前提出的算法更快、更具可伸缩性，或者提供更好的视觉质量。MillionVis 系统 [5]，分层平行坐标（hierarchical parallel coordinates）[6]，分层边缘捆绑（hierarchical edge bundling）[15] 是这类的好例子。

支持这种说法的典型结果是算法复杂性分析、量化的运行时间测量以及对新算法产生的图像的定性讨论。图像质量的量化度量，例如图形布局中的边缘交叉，也是合适的。你需要将这些结果与竞争算法的结果进行对比。你可以通过结合使用以前发布的结果、运行公开可用的代码或自己实现它们来收集这些信息。在这种情况下，对于该技术是否真的适用于论文本身提出的问题领域，几乎没有或根本没有设计上的理由：有一个隐含的假设，即前面引用的工作提出了这样的论点。

回想起来，这个类别更好的名称可能是算法。许多设计新视觉表征（visual representation，可视表达）的作者可能认为记录新技术的论文属于技术范畴。然而，要问的问题是你的主要贡献是算法本身，还是设计。如果你的算法足够复杂，需要几页描述才能复制（replicability，复现），那么你可能有一个主要的算法贡献。如果算法本身足够简单，只需要一个简短的描述，或者如果你使用的所有技术在以前的工作中已经得到了充分的描述，那么你最好明确地写一篇设计研究论文。

设计研究（Design Study）

设计研究论文提出了一个案例，一个新的视觉表征是一个特定领域问题的合适的解决方案。首先，你应该解释目标问题。你必须提供足够的背景，让读者能够判断你的解决方案是否合适，但不要提供太多细节，以至于论文的重点是领域问题，而不是 infovis 问题。找到正确的平衡是一个艰难但至关重要的判断。第二，你应该清晰地陈述你通过任务分析确定的设计要求。第三，您应该展示您的视觉编码和交互机制，并根据它们满足需求的程度来证明这些设计选择的合理性。典型的论点是指感知原理和 infovis 理论。例如，使用空间位置来编码最重要的变量，以及使用灰度值而不是色调来编码有序变量都是非常合理的选择。最好的理由是在几种可能的选择中明确讨论特定的选择。

第四，你应该提出支持你的方法比其他方法更好的说法的结果。典型结果包括案例研究或使用场景。设计研究经常记录迭代设计和使用形成性评价进行改进。设计研究的研究贡献通常不是新的算法或技术，而是对现有技术如何有效结合的合理论证。对于大多数设计研究来说，目标用户的采用是系统已经达到其目标的宝贵证据，就像新系统中发现的使用以前的方法很难获得的见解一样。

我认为这个类别名称仍然是一个不错的选择，尽管事实上伟大的设计研究是非常罕见的。我认为，如果更多的作者明确地将他们的作品归入这个类别，这个领域将会得到很好的服务。从多个角度探讨设计研究的有趣例子有 cluster-calendar 系统 [40]、ThemeRiver [11]、Vizster [14]、VistaChrom [21] 和酒店访问模式分析系统 [42]。

系统（System）

系统论文着重于基础架构（infrastructure）、框架（framework）或工具包（toolkit）设计中的体系结构（architectural）选择。系统论文通常不会介绍新的技术或算法。系统论文也没有为解决特定问题的应用程序引入新的设计，那将是一项设计研究。系统论文的研究贡献是在框架或库中讨论架构设计选择（architectural design choices）和抽象（abstractions），而不仅仅是一个应用程序。一个很好的例子是 prefuse 系统论文 [13]，它讨论了 ItemRegistry、Action 和 ActionList 数据结构选择的性能、灵活性和可扩展性含义。另一个很好的例子是 Rivet [37] 中关于设计选择的系统论文，以及其他具有类似目标的系统，例如转换的数据粒度的权衡。

一篇系统论文可以被认为是一种专门的设计研究：一篇关于构建一个库时所做的选择，而不是解决一个视觉编码问题时所做的选择。与设计研究类别一样，系统论文的关键方面是从构建系统和观察其使用中获得的经验教训。我敦促系统论文的作者和审稿人仔细阅读 Levin 和 Redell 的经典著作《如何（以及如何不）写一篇好的系统论文》[22]。

类别名称可能会引起混淆，因为术语系统经常与应用程序或实现互换使用。最初的意图是遵循分布式系统的用法，在这种用法中，系统级工作和应用程序级工作有很大的区别。虽然像工具包这样的名字可能会避免这种混淆，但是“系统论文”这个术语在计算机科学中是一个如此强大的惯例，以至于我不愿意提倡这种改变。

评估（Evaluation）

评估论文的重点是评估一些目标人群如何使用 infovis 系统或技术。评估论文通常不介绍新的技术或算法，并且经常使用先前工作中描述的实现。迄今为止，infovis 中最常见的方法是在实验室环境中进行正式的用户研究（user study），使用精心抽象的任务，这些任务可以用时间和准确性来定量衡量，并使用统计方法进行分析。一个典型的说法是，经过测试的任务在生态上是有效的；也就是说，它们对应于目标域中目标用户实际承担的任务。一个典型的结果是一个实验因素在统计上显著的主要影响，或者因素之间的交互作用。Yost 和 North 在感知可伸缩性方面的工作就是这种子类型 [44] 的一个很好的例子。研究用户行为的另一种方法是实地研究（field studies），即在现实世界中部署一个系统，让目标用户参与其中。在这些研究中，参与者的数量通常较少，没有试图达到统计学意义，时间跨度通常是几周或几个月，而不是几个小时。然而，该研究设计的领域与实验室、短期与长期以及规模都是正交的。可以收集定量和定性测量。例如，可以通过鼠标动作或眼睛注视的定量记录来研究使用模式。Hornbæk 和 Hertzum 在解开鱼眼菜单上的工作就是这种子类型的一个很好的例子 [16]。使用模式也可以在测试过程中通过定性观察来研究，或者稍后通过对视频会议进行编码来研究。Trafton 等人对气象学家如何使用视觉表征的实地研究是视频编码能力的一个极好的例子 [39]。

Plaisant 关于评估 infovis 的困难的讨论是深思熟虑的，而且是密切相关的 [29]。回想起来，这个类别更好的名称，尽管有些冗长，可能是总结性用户研究（Summative User Studies），因为目标是检验系统或技术的优势。评估这个术语太宽泛了，因为所有的论文都应该包含某种验证。即使是用户研究也不是最佳选择，因为形成性研究可能更适合设计研究类别，在设计研究类别中，人种学（ethnographic）方法通常适用于任务分析，以确定设计要求或反复改进设计。然而，这些线条不一定清晰。例如，Shneiderman 和Plaisant [35] 倡导的 MILC 方法可以适用于设计研究框架，如果强调的是形成性人种学分析和迭代设计，或者是总结性评估框架，如果强调的是纵向实地研究。

模型（Model）

模型论文呈现形式（formalisms）和抽象（abstractions），而不是任何特定技术或系统的设计或评估。这一类是元研究（meta-research）论文，其广泛的目的是帮助其他研究者思考他们自己的工作。

最常见的子类别是分类法（Taxonomy），其目标是提出类别，帮助研究人员更好地理解某些主题的可能性空间的结构。有些界限不可避免地会模糊，但目标是尽可能全面和完整。与调查论文（ survey paper）不同，调查论文的目标只是总结以前的工作，分类论文提出一些新的分类或扩展以前的分类，并假设读者熟悉以前的工作。很好的例子是 Card 和 Mackinlay 的视觉编码分类 [3] 和 Amar 等人的任务分类 [1]。

第二个子类别是形式主义（Formalism），用于提出新模型、定义或术语来描述技术或现象的论文。这类论文的一个关键属性是反思性观察（reflective observation）。作者着眼于一个领域正在发生的事情，并提供了一种清晰、深刻和总结性的思考方式。一个有影响的例子是 Furnas 和 Bederson 的空间比例图 [7]，最近一个有趣的例子是 Pousman 等人的 casual infovis 定义 [31]。

第三个子类是评论（Commentary），作者提倡一种立场并主张支持它。典型的论点是“这个领域需要做更多的 X”，“我们应该推动更多的 Y”，或者“因为这些缺点而避免做Z”。一个很好的例子是 Furnas [8] 中的鱼眼系列。这些类型的论文经常引用许多例子，也可能引入新的术语。

模型论文既能提供一个有价值的主题摘要，也能提供一个更简明地讨论该领域概念的词汇。它们对一个领域的既有研究人员和新手来说都是有价值的，并且经常被用作课程中的指定阅读材料。我认为这个类别名称是合适的，不建议改变它。

组合

这些分类并不是一成不变（not hard and fast）的：有些论文是混合的。例如，一个主要贡献是设计的设计研究可能包括以实验室或实地研究形式的总结性评估的次要贡献。类似地，设计研究可能以新算法的形式有次要贡献。相反，主要贡献是新算法的技术论文也可以包括以任务分析或设计需求形式的次要设计贡献。然而，当心我下面讨论的不伦不类（Neither Fish Nor Fowl）的陷阱。

类型陷阱

仔细考虑你工作的主要贡献，以避免由于你的项目和你选择的论文类型之间的不匹配而产生的陷阱。

Design in Technique’s Clothing：不要仅仅通过提供性能测量来验证新设计。许多被拒绝的 infovis 论文都是糟糕的设计研究，其中提出了新的设计，但设计要求没有清晰地陈述，也没有给出设计选择的理由。这些作者中的许多人听到他们写了一份设计研究会感到惊讶，因为他们简单地假设技术论文的形式总是正确的选择。如果你有一个新的算法贡献，或者你是第一个提出技术的人，技术论文通常是合适的。如果你结合了以前提出的技术，那么设计研究形式可能更合适。

应用 Bingo 与设计研究（Application Bingo versus Design Study）：不要在没有彻底思考问题是什么、该技术是否合适以及它在多大程度上解决了问题的情况下，就对一个新问题应用一些随机技术。我把“应用 bingo”定义为这样一种游戏，你选择一个狭义的问题域，一种随机的技术，然后写一篇应用论文，宣称这个特定的领域-技术组合具有新颖性。应用 bingo 是一个糟糕的游戏，因为大量的组合可能性导致了一个糟糕的设计。

虽然应用 bingo 被公认为是一种讽刺说法（caricature），但重要的问题是我们如何区分那些无意中玩它的人和那些真正用有效的可视化解决领域问题的人。一些可视化场所区分研究论文和所谓的应用或案例研究。这种论文类别通常被隐式或显式地认为是从可视化本身之外的社区收集数据的一种方式。尽管这一目标值得称赞，但该机制也有危险。一个非常常见的缺陷是，提交的应用论文只是非常详细地描述了以前技术的一个实例。许多人对领域问题没有足够的描述。大多数人没有充分的理由来解释为什么这种技术适用于这个问题。大多数人不会通过验证所提出的解决方案对目标用户有效来结束循环。

相比之下，对于一个不熟悉 infovis 文献的局外人来说，一项强有力的设计研究是相当困难的。两个关键方面需要对许多可视化技术的优缺点有一个透彻的理解。首先，虽然像“清楚地陈述问题”这样的指导原则乍看起来似乎很简单，但是从某个目标领域的问题中抽象出可以通过可视化技术解决的设计需求的工作需要了解这些技术。第二，要证明为什么所选择的技术比其他技术更合适，同样需要了解一系列可能的技术。

这种情况的另一面是，可视化研究人员与目标用户没有密切联系的设计研究通常也很薄弱。一个好的方法是可视化研究者和有驾驶问题（driving problems）的目标用户之间的合作 [18] （第 3.4 章）。

All That Coding Means I Deserve A Systems Paper（所有这些编码意味着我应该得到一份系统论文）：许多重要的编码工作并没有导致一份系统论文。考虑一下，在构建你的库或工具包的过程中，您是否可以向研究社区提供特定的架构课程。

Neither Fish Nor Fowl（不伦不类）：试图跨越多个类别的论文通常在任何一个类别中都不会成功。毫不留情地将你最重要的贡献确定为主要贡献，并将任何其他贡献明确归类为次要贡献。然后根据单一主要贡献的类别进行结构和验证选择。

中间陷阱：视觉编码

如果你已经选择了设计路线，那么项目中间阶段的一个主要问题应该是你的视觉编码选择是否合适和合理。

不合理的视觉编码（Unjustified Visual Encoding）：infovis 设计研究论文必须仔细论证为什么所选择的视觉编码适合当前的问题。就技术论文而言，重点是加速或改进以前提出的技术，论点可以非常简洁，并引用以前的论文。但是在一个设计研究的情况下，或者一篇论文提出了一个全新的技术，你的理由需要明确和令人信服。信息可视化中最核心的挑战之一是设计可视编码和交互机制来显示和操作数据集。

对精确输入数据进行直观的编码通常是不够的。在许多成功的 infovis 方法中，输入数据经历了重大的转换，变成最终显示的某种派生模型。许多薄弱的论文完全跳过了任务分析的步骤。没有对设计需求的任何讨论，很难让读者相信你的模型能解决问题。特别是，你应该考虑如何让你所展示的结构真正有利于目标最终用户。例如，许多对信息可视化不熟悉的作者只是简单地断言，显示网络的超链接结构将有益于搜索信息的最终用户，而没有正当理由。我自己早期的一篇论文就落入了这个陷阱 [26]。然而，经过更仔细的任务分析后，我得出结论，大多数搜索者不需要构建搜索空间结构的心理模型（mental model），因此向他们展示结构增加了认知负荷，而不是减少了认知负荷。在后来的一篇论文 [25] 中，我认为超链接结构的可视化表示确实可以让特定的目标社区受益，即负责特定网站的网站管理员和内容创建者。

信息可视化的基础是描述关于人类感知的已知事实应该如何指导抽象数据集的视觉编码。感知通道（如空间位置、颜色、大小、形状等）的有效性取决于要编码的数据是分类的、有序的还是定量的 [24]。许多单独的感知通道是预先并行处理的，然而这些通道的大多数组合必须被串行地搜索 [12]。有些感知通道很容易分离，但其他组合不是 [41，第5章]。这些原则，以及许多其他原则，是 infovis 理论的重要组成部分。这一部分的最后三个陷阱是忽略这一知识体系的几个特别突出的例子。

寻找钉子的锤子（Hammer In Search Of Nail）：如果你只是简单地提出一个漂亮的新技术，而没有讨论谁可能需要它，那么很难判断它的价值。我并不是说所有的新技术都需要被特定的领域问题所驱动：从技术驱动的起点开始的 infovis 研究可能是有趣和刺激的。此外，在理解所提出的技术的能力之前，可能有必要构建一个交互式原型并将其用于数据集探索。

然而，在你写关于那把锤子的论文之前，我敦促你理解它能处理什么样的钉子。至少用一些高层次的论点来描述你的新技术表现突出的问题，而不是表现不佳的问题。

二维好，三维更好（2D Good, 3D Better）：在抽象数据集的空间布局中使用三维而不是二维，需要仔细论证其利大于弊 [36]。当一个有意义的三维表示隐含在数据集中时，三维的使用是很容易证明的，例如在流动可视化中飞机机翼上的气流或医学可视化中的骨骼结构。提供熟悉的视图的好处是显而易见的，因为它符合用户的心理模型。然而，当选择而不是给出空间布局时，如在通过 infovis 处理的抽象数据集中，有一个明确的选择，即哪些变量映射到空间位置。简单地断言使用额外的维度一定是个好主意，这是不可接受的，但对于 infovis 的天真方法（naive approaches）来说却太常见了。

三维布局最严重的问题是遮挡。使用导航控件交互式改变视角的能力并不能解决问题。由于人类记忆的局限性，将可见的东西与之前所见的记忆进行比较，比将同时可见的东西并排进行比较要困难得多 [30]。大量的工作致力于探索多重联系的二维视图的力量，经常直接显示导出的变量 [43] 或使用它们进行排序 [2，23]。在许多情况下，这些视图比简单地跳到三维 [40] 更有效。三维布局的其他困难是用户难以做出精确的长度判断，因为透视缩短了（perspective foreshortening）[38]，并且文本很难阅读，除非将其用广告牌固定在二维平面上。

色彩不和谐（Color Cacophony）：当你在做出设计决策时公然无视基本的色彩感知事实，infovis 论文就失去了可信度。例如，拥有大面积的高饱和颜色，希望颜色编码能够在很小的区域内被区分，使用比使用颜色编码可以区分的大约十几个类别更多的名义类别，或者使用顺序方案来分散数据。只有在存在强域约定（strong domain conventions）时，使用红 / 绿色调编码才是合理的，并且通常应使用亮度差异进行冗余编码，以便 10% 的色盲男性能够识别。你不应该试图通过红、绿、蓝三个通道对三个变量进行视觉编码；它们是不可分离的，因为它们被视觉系统整合成一个颜色的组合感知。这些原则已经被许多作者清楚地解释过，包括 Ware [41，第 4 章]。

Rainbows Just Like In The Sky：连续彩虹颜色图（rainbow colormap）的不合理使用是一个常见的颜色陷阱，所以我给它一个单独的标题。最关键的问题是标准彩虹颜色图在感知上是非线性的。在绿色区域无法区分的固定范围的值将清楚地显示其他区域的变化，例如橙色变为黄色或青色变为蓝色的区域。此外，与灰度或饱和度等其他视觉属性相比，色调没有隐含的感知排序。如果要编码的信息的重要方面是低频变化，那么使用从一种色调变化到另一种色调的色图，或者使用改变饱和度的单一色调。如果你正在显示高频信息，在这里区分和讨论几个可命名的区域是很重要的，那么一个好的策略是将你的数据显式量化为一个分段的彩虹颜色图。Rogowitz 和 Treinish [32] 对这些想法进行了清晰的讨论。

后期陷阱：论文战略、战术和结果

考虑后期陷阱的时间是在大部分项目工作完成之后，但在开始写你的论文草稿之前。

战略陷阱（Strategy Pitfalls）

战略陷阱与整篇论文的内容和结构有关，而不是只影响一个或几个部分的局部战术问题。

我暑假做了什么（What I Did Over My Summer Vacation）：不要简单地列举写论文时需要努力的所有活动。相反，根据你的研究贡献来判断论文中要讨论什么。这一类别唤起了我们许多人每年秋季被要求写的小学论文，它们通常是叙述性的和按时间顺序排列的。这些暑假论文通常包含太多的低级细节，在极端情况下读起来更像是一本手册而不是一篇研究论文。例如，一个需要几周甚至几个月的实现工作的特性可能只需要几个句子，而一些特性可能对研究社区来说根本就不太有趣。这些论文通常是对文献的了解不足以理解什么是贡献，什么不是贡献的作者的成果。解决办法是投入更广泛的文献综述。

Least Publishable Unit：不要试图从同一个项目中挤出太多的论文，在这个项目中，你会在自己以前的工作之外贡献一些微小的研究成果。确定什么是论文大小的工作单元，诚然是非常个人的判断，我不会试图在这里定义范围。作为一名审稿人，我应用“当我看到它时我就知道它”的标准。

Dense As Plutonium（钚）：不要试图把许多论文的内容和贡献塞进一个—这是与上面那个相反的陷阱。这些论文很难阅读，因为大量的想法太密集了。更重要的是，因为你没有足够的空间来解释你是如何完成工作的，这些论文没有通过可复制性测试。如果你遗漏了如此多的关键细节，以致于一个足够高级的研究生无法复制你的作品，那么就把你的文章分成多份。

Bad Slice and Dice：如果你已经完成了两篇论文的工作，并选择写两篇论文，你仍然可以在如何在它们之间分配工作上做出错误的选择。在这个陷阱中，这两篇论文都不是真正独立的，都重复了对方的太多内容。重新分区可以解决这个问题。

战术陷阱

战术陷阱局限于一个或几个部分，与上面的论文战略问题相反。

秘密贡献（Stealth Contributions）：不要把你的贡献隐而不露，也不要不说出来，不管是出于学术上的怠惰，还是不合时宜的谦虚，抑或是希望读者能想出一个比你所能提供的更好的答案。作为一名作者，清晰明确地告诉读者你作品的贡献是你工作的核心。

我强烈建议在开始引言（introduction）的末尾加上一句话，“这项工作的贡献是”，如果有多项贡献，使用项目符号列表。使用动词如“呈现（present）”和“提出（propose）”等更微妙的方式来陈述贡献，会让读者和审稿人更难找出你的许多句子中哪一句是最重要的贡献陈述。此外，不要假设读者可以通过仔细阅读你先前工作（previous work，related work？）部分的论点来收集你的全部贡献。尽管有一个清晰的先前工作部分来陈述你如何解决先前工作的局限性是至关重要的，正如我下面所讨论的，你的论文应该清楚地传达你的贡献，即使读者已经跳过了整个先前工作部分。

我发现阐明贡献需要非常仔细的考虑，也是写论文最难的部分之一。它们通常与项目的最初目标大相径庭，并且通常只能在回顾中确定。我们能做些以前不可能的事情吗？我们怎样才能做得比以前更好？我们知道什么是以前未知或不清楚的？这些问题的答案应该指导论文的各个方面，从高层次的信息到选择哪些细节值得讨论。然而，作为一名作者，我发现很难在写作过程的开始就确定下来。这个原因是开始写作足够早的众多原因之一，以便有时间通过多个草稿进行提炼。写完一份完整的草稿，然后批判性地阅读，我可以在下一遍中更好地完善稿件。

我是如此独特（I Am So Unique）：写论文时不要忽略以前的工作。你必须让读者相信你已经做了一些新的事情，唯一的方法就是解释它和已经做的事情有什么不同。所有的研究都是在某种知识背景下进行的，作为作者，你的工作是将你所做的事情置于这种背景下。一个好的先前工作部分是它自己的一个小分类，在这里你可以根据你的特定主题决定有意义的分类。

为旧的技术或想法取新的名字可能会让你的工作通过一些审稿人的审核，但是会激怒那些知道你先前工作的人。这种策略也会让你在知识渊博的读者中失去可信度。如果你找不到任何与你所做的事情相关的东西，那更可能是你找错了方向，而不是你的工作是如此巨大的突破，以至于没有任何背景。记住，不仅要讨论你在类似问题上所做的工作，还要讨论在不同问题领域使用类似解决方案的工作。如果你在开始你的项目之前对做文献调研松懈，这个建议甚至更加重要。如果你找到了与自己相似的工作，你就有机会在文章中仔细区分你的工作，但是如果是一个审稿人引起你的注意，那么这篇文章很可能就没了。

没有理由的列举（Enumeration Without Justification）：简单地引用以前的工作是必要的，但还不够。“X做Y”的描述，即使包括细节，也是不够的。你必须解释为什么之前的工作本身不能解决你的问题，以及你的方法解决了之前工作的哪些具体限制。你在先前工作部分引用的每一篇论文都是对你的项目的根本挑战。你的工作是说服一个持怀疑态度的读者，这个世界需要你的新事物，因为它在某种程度上比一个特定的旧事物更好。此外，仅仅证明你的与众不同是不够的—你必须更好。当然，你的声明必须在随后的结果部分得到你的验证的支持。

一个很好的处理先前工作部分的方法是你想给读者讲一个故事。找出你想传达给读者的信息，按照什么顺序，然后用参考资料来帮助你讲述这个故事。可以将以前的工作分成不同的类别，并有效地讨论整个类别的局限性。

笼统的断言（Sweeping Assertions）：一篇研究论文不应该包含笼统的无归属断言（sweeping unattributed assertions）。你有三个选择：引用你的来源；删除你论文中的断言；或者明确地把这个陈述标记为你的观察、你的推测或者对你的结果的解释。在最后一种情况下，断言被明确标记为你的研究贡献的一部分。小心“人人皆知”的民间智慧。你可能弄错了，追踪原始资料可能会改变或完善你的观点。如果你在广泛的挖掘后找不到合适的来源，你已经为未来的论文偶然发现了一个伟大的主题！你可以验证和扩展传统智慧，或者证明它是不正确的。

我绝对完美（I Am Utterly Perfect）：没有工作是完美的。对你工作局限性的明确讨论会加强而不是削弱你的论文。没有讨论限制、弱点和含义的论文会感觉没有完成或只是初步的。例如，您的系统可以处理多大的数据集？你能对你的技术适用的数据集和不适用的数据集进行分类吗？

结果陷阱

在论文的结果部分，可能会出现几个关于如何验证你的声明的陷阱。

不受时间限制（Unfettered By Time）：不要在你的写作中忽略时间性能，因为它几乎总是有趣的，值得记录。你应该报告此结果的详细程度取决于论文类型和贡献声明。例如，像“桌面电脑上显示的所有数据集的交互响应”这样的非常高层次的陈述可能足以作为评估论文或设计研究论文。然而，对于一篇声称比以前的技术性能更好的技术论文，在表格或图表中详细的比较时间将是一个更好的选择。

对复杂度的恐惧和厌恶（Fear and Loathing of Complexity）：虽然大多数 infovis 论文没有复杂度的详细证明，但是关注加速性能的技术论文通常应该包含一些算法复杂度的陈述。

稻草人比较（Straw Man Comparison）：当把你的技术和以前的工作进行比较时，要和最先进的方法而不是过时的工作进行比较。例如，作者不知道最近在多层次方法中的工作，以力导向的图绘制 [10] 有时会与非常幼稚的 spring 系统实现进行比较。在较低的层次上，如果你将你实现的基准（benchmarks）与之前出版物中引用的性能数据进行比较，并且你的硬件配置更加强大，那么你应该明确讨论性能的差异。更好的是，在你用来测试自己算法的机器上重新运行竞争算法的基准。

小玩具数据集（Tiny Toy Datasets）：避免在改进了之前提出的视觉编码的技术论文中只使用小玩具数据集。虽然小的合成基准对于解释来说是有用的，但是你的验证应该包括与最先进的方法所使用的相同大小的数据集。同样，你应该使用目标应用程序特有的数据集。

另一方面，相对较小的数据集可能非常适合用户研究，如果它们是结合一些特定的目标任务仔细选择的，并且这种选择被解释和证明是合理的。

但是我的朋友们喜欢它（But My Friends Liked It）：你的几个 infovis 专家实验室成员对一个新的 infovis 系统的积极的非正式评估并不是一个新技术对其他领域的新手或科学家有用的令人信服的证据。虽然游击 / 折扣（guerilla / discount）方法对于发现产品的可用性问题非常有用 [27]，但更强的方法是使用更具代表性的主题进行非正式评估，或者使用严格的方法进行正式评估。

不合理的任务（Unjustified Tasks）：当心在任务不合理的情况下进行用户研究。如果一项研究为一项没有人会真正做的任务，或者一项比其他任务更不常见或更不重要的任务显示出一个好的结果，那么这项研究就不是很有趣。你需要让读者相信你的任务是你的目标用户完成的真实世界任务的合理抽象。如果你是其中一个系统的设计者，要特别小心地提出一个令人信服的案例，证明你没有对自己系统的优势有偏见地挑选任务。

最终陷阱：风格和提交

完成一份完整的论文草稿后，你应该检查一下最后阶段的陷阱。

写作风格陷阱

一些较低层次的陷阱与写作风格有关。

致命的细节倾销（Deadly Detail Dump）：当写论文时，不要简单地倾销（dump out）所有细节并宣布胜利。细节是你做了什么和做了什么的方式，属于你论文的核心。但是你必须先说你做了什么，为什么要这样做。这个建议适用于多个层面。对于高层次的论文结构，从动机开始：作为读者，我为什么要关心你做了什么？然后提供一个概述：对你所做的事情的宏观看法。算法细节可以在这个阶段设定好之后出现。在章节、小节，有时甚至是段落的层次上，先陈述内容，后陈述方式会让你的写作更清晰。

无故事标题（Story-Free Captions）：避免使用一个简单的句子片段作为标题文本。标题词不是一种你应该囤积起来吝啬使用的宝贵资源。相反，设计你的论文，让那些只看图表和标题的人能理解尽可能多的论文内容。许多可视化和图形论文的读者在浏览时都会这样做，所以尽可能让你的标题独立。

我的图片不言自明（My Picture Speaks For Itself）：你应该告诉读者你的可视表示是如何揭露数据集中有意义的结构的，而不是简单地假设你的方法的优越性对所有读者来说都是显而易见的，从而无需对你的结果图像进行辅助检查。技术和设计研究论文通常在结果部分包含图像，显示由技术或系统在示例数据集上创建的视觉编码。执行这种定性评估的最佳方法是将你的方法与在同一数据集上通过竞争方法创建的表示进行并排比较。

语法是可选的（Grammar is Optional）：语法不是可选的；你应该使用正确的语法和标点符号来保证单词的流畅表达。如果英语不是你的第一语言，考虑让一个以英语为母语的人在提交论文以供审查之前，以及在论文的最终版本付印之前检查一下你的写作。我推荐 Dupr´ e 的书 [4] 作为计算机科学家的优秀的面向陷阱的技术写作指南。

犯了错误（Mistakes Were Made）：尽可能避免被动语态。我提出这个特殊的语法问题是因为它直接关系到让你的研究贡献变得清晰。讨论中的事情是你的研究贡献的一部分，还是别人做的或建议的？被动语态的问题在于它的模糊性：读者没有足够的信息来判断谁做了什么。这种模棱两可可能是被动语态对懒惰或过于谦虚的作家的诱惑。我敦促你使用主动语态，并明确做出这样的区分。

行话攻击（Jargon Attack）：尽可能避免行话，如果你必须使用它，那么首先定义它。对于不熟悉的术语或首字母缩略词，以及在特定技术意义上使用的标准英语词汇，定义都是至关重要的。

大的非特定用途（Nonspecific Use Of Large）：永远不要仅仅用“大”或“巨大”来描述一个数据集或一项技术的可伸缩性，而不给出数字来阐明所讨论的数量级：数百、数万、数百万？每个作者对这些词的含义都有不同的理解，从 128 到数十亿不等，所以要具体。此外，你应该提供结果图中使用的所有数据集的大小，以便读者不必计算图像中的点来猜测数字。

提交陷阱

最后，在提交论文的时候，我提醒大家在项目的最后要小心陷阱。

卑鄙的同时提交（Slimy Simultaneous Submission）：在多个明确要求原创作品的地方同时提交相同的作品，这是非常不道德的。此外，同时提交是愚蠢的，因为当不同的会议主席被由同一个审稿人担任时，这种情况常常会被发现。任何一个特定领域的专家人数都可能是很小的一组。一旦被发现，标准的惩罚是立即双重拒绝，多个会议黑名单也开始被编制。最后，即使你成功地将同样的工作发表了两次，但当你在你的领域内失去了那些真正阅读过该工作的人的信任，并且对费力地阅读多篇说同一件事的论文感到恼火时，你通过更高的发表次数所获得的任何收益都会被抵消。

不经修改重新提交（Resubmit Unchanged）：如果你的论文被拒绝，不要完全忽略评论，不做任何改变就重新提交到另一个地方。如上所述，你有合理的机会再次得到同一个审稿人的审核。那个审稿人会非常生气。

普遍性陷阱

概括地说，对这些陷阱进行分类是一种跨领域的方法。许多理论适用于任何科学研究论文，而不是特定于可视化。在后者中，许多科学可视化（scivis）和信息可视化（infovis）都适用。正如许多人哀叹的那样，这些子领域的名字对于局外人来说是不幸而令人困惑的。我使用的定义是，当选择空间表示时，它是信息，当给出空间表示时，它是科学。在操作上，1995 年，InfoVis 作为一个姐妹会议从 IEEE Visualization (Vis) 中分离出来。在Vis，现在的焦点是 scivis。

论文类型的选择是特定于 InfoVis 作者指南的，因为这种分类在 Vis 的论文征集中没有明确讨论。因此，第一阶段类型的陷阱是 infovis 特有的。视觉编码的中间陷阱是可视化特有的。 Color Cacophony 和 Rainbows Just Like In The Sky，当然同时适用于 infovis 和 scivis。Unjustified Visual Encoding、Hammer In Search Of Nail 和 2D Good, 3D Better 聚焦于对 infovis 观众来说更重要的问题，但也可能对 scivis 有好处。所有的战略陷阱都与任何研究论文相关。结果陷阱适用于所有可视化论文，而 Straw Man Comparison 适用于所有研究论文。战术和最后阶段的陷阱非常普遍，只有两个例外。 Story-Free Captions 专用于可视化和计算机图形。My Picture Speaks For Itself 也是最适合 infovis 的，但肯定会引起 scivis 社区的兴趣。

尽管我根据 InfoVis 作者指南的论文类别进行了讨论，但我的评论也适用于其他地方的infoVis 论文。我认为，即使论文征集没有明确说明论文类别，记住论文分类将有助于你写出更好的论文。

总结

我提倡一种进行 infovis 研究的方法，从明确考虑论文类型开始。我告诫作者在研究过程的几个阶段要避免陷阱，包括设计过程中的视觉编码，开始写作前的检查点，以及完整论文草稿完成后的检查点。我对这些陷阱的描述和分类反映了我作为作者、审稿人和论文主席的经历。我提供它是希望在我们的领域指导和激励讨论。

引用

[1]. R. Amar, J. Eagan, and J. Stasko. Low-level components of analytic activity in information visualization. In Proc. IEEE Symposium on Information Visualization (InfoVis), pages 111–117, 2005.

[2]. R. A. Becker, W. S. Cleveland, and M. J. Shyu. The visual design and control of trellis display. Journal of Computational and Statistical Graphics, 5:123–155, 1996.

[3]. S. Card and J. Mackinlay. The structure of the information visualization design space. In Proc. IEEE Symposium on Information Visualization (InfoVis), pages 92–99, 1997.

[4]. L. Dupr´ e. Bugs in Writing. Addison Wesley, 1995.

[5]. J.-D. Fekete and C. Plaisant. Interactive information visualization of a million items. In Proc. IEEE Symposium on Information Visualization (InfoVis), 2002.

[6]. Y.-H. Fua, M. O. Ward, and E. A. Rundensteiner. Hierarchical parallel coordinates for visualizing large multivariate data sets. In Proc. IEEE Visualization Conf. (Vis), 1999.

[7]. G. Furnas and B. Bederson. Space-scale diagrams: Understanding multiscale in- terfaces. In Proc. ACM Conf. Human Factors in Computing Systems (CHI), 1995.

[8]. G. W. Furnas. A fisheye follow-up: Further reflection on focus + context. In Proc. ACM Conf. Human Factors in Computing Systems (CHI), pages 999–1008, 2006.

[9]. T. Grossman, D. Wigdor, and R. Balakrishnan. Exploring and reducing the effects of orientation on text readability in volumetric displays. In Proc. ACM Conf. Human Factors in Computing Systems (CHI), pages 483–492, 2007.

[10]. S. Hachul and M. Jünger. Drawing large graphs with a potential-field-based mul- tilevel algorithm. In Proc. Graph Drawing (GD), volume 3383 of LNCS, pages 285–295. Springer-Verlag, 2004.

[11]. S. Havre, B. Hetzler, and L. Nowell. Themeriver(tm): In search of trends, pat- terns, and relationships. In Proc. IEEE Symposium on Information Visualization (InfoVis), pages 115–123, 2000.

[12]. C. G. Healey. Perception in visualization. http://www.csc.ncsu.edu/faculty/ healey/PP, cited 14 Nov 2007.

[13]. J. Heer, S. K. Card, and J. A. Landay. prefuse: a toolkit for interactive information visualization. In Proc. ACM Conf. Human Factors in Computing Systems (CHI), pages 421–430, 2005.

[14]. J. Heer and danah boyd. Vizster: Visualizing online social networks. In Proc. IEEE Symposium on Information Visualization (InfoVis), pages 32–39, 2005.

[15]. D. Holten. Hierarchical edge bundles: Visualization of adjacency relations in hier- archical data. IEEE Trans. Visualization and Computer Graphics (TVCG) (Proc. InfoVis 06), 12(5):741–748, Sept. 2006.

[16]. K. Hornbæk and M. Hertzum. Untangling the usability of fisheye menus. ACM Trans. on Computer-Human Interaction (ToCHI), 14(2), 2007.

[17]. E. Isaacs and J. Tang. Why don’t more non-North-American papers get accepted to CHI? SIGCHI Bulletin, 28(1), Jan. 1996. http://www.sigchi.org/bulletin/ 1996.1/isaacs.html.

[18]. C. Johnson, R. Moorhead, T. Munzner, H. Pfister, P. Rheingans, and T. S. Yoo. NIH/NSF Visualization Research Challenges Report. IEEE Computer Society Press, 2006.

[19]. R. E. Johnson et al. How to get a paper accepted at OOPSLA. In Proc. Conf. Object Oriented Programming Systems Languages and Applications (OOPSLA), pages 429–436, 1996. http://www.sigplan.org/oopsla/oopsla96/how93.html.

[20]. J. Kajiya. How to get your SIGGRAPH paper rejected. http://www.siggraph.org /publications/instructions/rejected.

[21]. R. Kincaid, A. Ben-Dor, and Z. Yakhini. Exploratory visualization of array-based comparative genomic hybridization. Information Visualization, 4(3):176–190, 2005.

[22]. R. Levin and D. D. Redell. An evaluation of the ninth SOSP submissions; or, how (and how not) to write a good systems paper. ACM SIGOPS Operating Systems Review, 17(3):35–40, July 1983. http://www.usenix.org/events/samples/ submit/advice.html.

[23]. A. MacEachren, X. Dai, F. Hardisty, D. Guo, and G. Lengerich. Exploring high-D spaces with multiform matrices and small multiples. In Proc. IEEE Symposium on Information Visualization (InfoVis), pages 31–38, 2003.

[24]. J. D. Mackinlay. Automating the Design of Graphical Presentations of Relational Information. ACM Trans. on Graphics (TOG), 5(2):111–141, 1986.

[25]. T. Munzner. Drawing large graphs with H3Viewer and Site Manager. In Proc. Graph Drawing (GD), volume 1547 of LNCS, pages 384–393. Springer-Verlag, 1998.

[26]. T. Munzner and P. Burchard. Visualizing the structure of the world wide web in 3D hyperbolic space. In Proc. Virtual Reality Modelling Language Symposium (VRML), pages 33–38. ACM SIGGRAPH, 1995.

[27]. J. Nielsen. Guerrilla HCI: Using discount usability engineering to penetrate the intimidation barrier. In R. G. Bias and D. J. Mayhew, editors, Cost-justifying usability, pages 245–272. Academic Press, 1994.

[28]. C. Partridge. How to increase the chances your paper is accepted at ACM SIG- COMM. ACM SIGCOMM Computer Communication Review, 28(3), July 1998. http://www.sigcomm.org/conference-misc/author-guide.html.

[29]. C. Plaisant. The challenge of information visualization evaluation. In Proc. Ad- vanced Visual Interfaces (AVI), pages 109–116, 2004.

[30]. M. Plumlee and C. Ware. Zooming versus multiple window interfaces: Cognitive costs of visual comparisons. Proc. ACM Trans. on Computer-Human Interaction (ToCHI), 13(2):179–209, 2006.

[31]. Z. Pousman, J. T. Stasko, and M. Mateas. Casual information visualization: Depic- tions of data in everyday life. IEEE Trans. Visualization and Computer Graphics (TVCG) (Proc. InfoVis 07), 13(6):1145–1152, 2007.

[32]. B. E. Rogowitz and L. A. Treinish. How not to lie with visualization. Computers In Physics, 10(3):268–273, May/June 1996. http://www.research.ibm.com/dx/ proceedings/pravda/truevis.htm.

[33]. M. Shaw. Mini-tutorial: Writing good software engineering research papers. In Proc. Intl. Conf. on Software Engineering (ICSE), pages 726–736, 2003. http://www.cs.cmu.edu/ ∼ Compose/shaw-icse03.pdf.

[34]. J. Shewchuk. Three sins of authors in computer science and math. http://www.cs. cmu.edu/ ∼ jrs/sins.html, 1997.

[35]. B. Shneiderman and C. Plaisant. Strategies for evaluating information visual- ization tools: Multi-dimensional in-depth long-term case studies. In Proc. AVI Workshop on BEyond time and errors: novel evaLuation methods for Information Visualization (BELIV), pages 38–43, 2006.

[36]. H. S. Smallman, M. S. John, H. M. Oonk, and M. B. Cowen. Information availabil- ity in 2D and 3D displays. IEEE Computer Graphics and Applications (CG&A), 21(5):51–57, 2001.

[37]. D. Tang, C. Stolte, and R. Bosch. Design choices when architecting visualizations. Information Visualization, 3(2):65–79, June 2004.

[38]. M. Tory, A. E. Kirkpatrick, M. S. Atkins, and T. Möller. Visualization task per- formance with 2D, 3D, and combination displays. IEEE Trans. Visualization and Computer Graphics (TVCG), 12(1):2–13, 2006.

[39]. J. G. Trafton, S. S. Kirschenbaum, T. L. Tsui, R. T. Miyamoto, J. A. Ballas, and P. D. Raymond. Turning pictures into numbers: Extracting and generating information from complex visualizations. Intl. Journ. Human Computer Studies, 53(5):827–850, 2000.

[40]. J. J. van Wijk and E. R. van Selow. Cluster and calendar based visualization of time series data. In Proc. IEEE Symposium on Information Visualization (InfoVis), pages 4–9, 1999.

[41]. C. Ware. Information Visualization: Perception for Design. Morgan Kauf- mann/Academic Press, 2nd edition, 2004.

[42]. C. Weaver, D. Fyfe, A. Robinson, D. W. Holdsworth, D. J. Peuquet, and A. M. MacEachren. Visual analysis of historic hotel visitation patterns. Information Visualization, 6(1):89–103, Feb 2007.

[43]. L. Wilkinson, A. Anand, and R. Grossman. Graph-theoretic scagnostics. In Proc. IEEE Symposium on Information Visualization (InfoVis), 2005.

[44]. B. Yost and C. North. The perceptual scalability of visualization. IEEE Trans. Visualization and Computer Graphics (TVCG) (Proc. InfoVis 06), 12(5):837–844, Sept. 2006.