数字时代存在来自新媒体的，以散乱、不规则和噪音大为特征的海量文本，而传统的文本分析方法在处理它们时就会显得 “ 捉襟见肘 ” 。本期推文为大家介绍主题模型（ Topic Modeling ）在文本分析中的运用。该方法属于自然语言处理型统计，它通过分析原始文本的语词，以发现贯穿其中的主题。主题建模相对于其他文本分析方法优势明显，它可以克服传统文本分析局限于文本数量和主题遗失的不足，同时能够在海量数据中找出文字间的语义主题。因此，在对社交媒体文本的研究中得到广泛应用。

主题建模与上篇推文的语义网络分析技术共同构成了数字时代两种基础性分析方法。它通过无监督学习的方式对文档（ document ）展开分析，不计顺序地统计文档内的语词（ word ），并根据统计的信息判断该文档包含的主题（ topic ）以及各主题占比。接下去我们将通过对两篇文献研究设计的比较，尝试对不同类型主题模型的特征和应用进行解读。

Li & Luo (2020) 采用结构建模法探讨了传统的新闻媒体和新的社交媒体在讨论交通事故时如何有失偏颇地以女性驾驶员为对象，以及社交媒体是否可以成为性别的 “ 新均衡器 ” （ ‘new equalizer’ for gender ）这一议题。作者旨在回答四个问题： 1 ）女性驾驶员在交通事故中的比例是否过高？ 2 ）社交媒体（微博）和传统新闻媒体（报纸）的报道有什么不同？ 3 ）在社交媒体上，有偏见的报道更普遍吗？不同用户类型之间有何不同？ 4 ）微博能成为促进性别意识讨论的性别“均衡器”吗？

该研究采用两对关键词，即“女性驾驶员与事故”和“男性驾驶员与事故”，分别从微博和报纸上收集数据。 1 ）通过关键词在微博的内部搜索引擎 —— 微博搜索 (Weibo Sousuo) 上进行信息搜索并收集返回的结果。研究者共收集了 97120 条微博帖子，其中涉及女性司机的有 82291 条，涉及男性司机的有 5417 条，两者都涉及的为 9412 条。对于每个微博帖子，还分别收集了其文本内容和元数据。为了进一步考察微博用户类别中表现出的性别内容差异，该研究还将微博用户根据微博验证系统和用户档案中预先定义的用户类型分为六大类，即普通用户、微博达人与微博会员、自媒体、官媒、警方账号以及其他机构账号。 2 ）为了搜集包含上述关键词的报纸文章，本研究使用了中国数字图书馆数据库的搜索功能收集了所有返回的结果。总共从 393 份中文报纸上收集了 11290 篇文章，其中 2103 篇只提到了“男司机”， 7809 篇只提到了“女司机”，两者都提到的文章数为 1378 篇。

图 1 主题和平台的关联

Zheng & Shahin （ 2020 ）则采用潜在 狄利克雷分配模型 （ Latent Dirichlet Allocation, LDA ），通过分析近 300,000 条标有 debatenigth 或 debates 的推特（ Twitter ），研究了 2016 年三场美国总统选举辩论中，共和党候选人唐纳德 · 特朗普（ Donald Trump ）和民主党候选人希拉里 · 克林顿（ Hilary Clinton ）在推特上的表现。 LDA 在文本分析中应用较广，它可以让研究者找到散布在非结构化文本中的关键主题。它假设每篇文章都是由一定数量的主题或话题组成的，并且文字在文章中的使用方式与这些话题是一致的。

该文的主题建模采用了语言工具学习软件（ Machine Learning for Language Toolkit) 。推特内容被保存在与每次辩论相对应的不同文件中。对这三个文件同时进行线性判别分析，得出一组共同的主题。这可以帮助研究者了解三场辩论中推特对话的异同之处，以及哪些议题占主导地位，哪些议题处于边缘地位。除了介词、冠词和一些常用动词之外，研究者还创建了一个额外的“停用词”列表，这些列表对于主题非常重要，因此很有可能出现在所有主题中。这一列表包括候选人唐纳德 · 特朗普和希拉里 · 克林顿的推特用户名和大众对其本名的不同代称，以及用来收集推特的主题标签。该文发现，尽管跨越了意识（ ideology ）鸿沟，但人们在推特上的交往仍然是高度党派化的。

以上两篇论文的文本数据均源自媒体，但是前者的研究重点是讨论主题和信息源、信息载体的不同关联，而后者主要探讨“文本 - 主题 - 语词”的关联，故在研究设计上存在两点主要差异。其一，在原始文本来源上，前者通过关键词搜索而来，后者是利用 Netlytic.org 社交媒体挖掘工具收集所得。其二，在统计方法选择上，前者采用的是结构主题模型，这种方法能够用来分析自变量 / 特征对主题 / 文档的影响，因此能够实现对文本数据的因果推论，而后者采用的 LDA 模型是传统概率主题模型的一种，这一模型基于文本和词的共现概率实现对文本的聚类降维，因此更适合对隐含在非结构化文本中的相关关系进行分析。

在社会科学中，研究者借助主题建模，可以分析一些具有长度短、体量大、语境少等特点的文本，这显著地扩大了科学研究的范围。与此同时，更具客观性和可重复性的分析过程，还可以克服传统文本分析中过于依赖个体直觉的不足，提高了文本分析的可复制性和科学性。在自然科学中，研究者则已经将主题建模分析应用于生物和环境科学等领域（ Liu et al. 2016; Girdhar et al. 2013 ）。

图 2 选择主题模型方法的决策树

然而，值得注意的是，主题模型假定观测到的变量与未观测到的、潜在的参数存在特定概率关系（ Steyvers & Griffiths. 2011 ），这需要充分的理论支撑。最近， Vayansky & Kumar （ 2020 ）认为， LDA 是目前使用最为广泛的主题模型，尽管它能够很好地对多样数据进行分析，但却不太适合对复杂数据关系进行建模，同时对单位文本长度要求较高。根据主题模型的不同特征及性能，包括单位文本长度、是否关注复杂主题关联、是否包含作者或关键词信息、是否关注时间维度、主题数以及计算成本等，研究者对主题模型方法的选择存在一个决策树（如图 2 所示）。此外，主题模型还能与其他分析方法相结合，从而进一步增强其对于多种类型文本的驾驭以及分析复杂数据关系的能力，有望在未来的社会科学研究中发挥更大的潜能。

[3]L. Liu, L. Tang, W. Dong, S. Yao, and W. Zhou (2016). An overview of topic modeling and its current applications in bioinformatics. SpringerPlus 5, 1608.

[4]Girdhar Y., Giguère P., Dudek G. (2013). Autonomous Adaptive Underwater Exploration using Online Topic Modeling. In: Desai J., Dudek G., Khatib O., Kumar V. (eds) Experimental Robotics. Springer Tracts in Advanced Robotics, vol 88. Springer, Heidelberg.

[5]M. Steyvers and T. Griffiths (2011). “Probabilistic Topic Models,” in Handbook of Latent Semantic Analysis, 1st ed., T. K. Landauer, Ed. New York, NY, USA: Routledge, pp. 427–440.

作者 | 王双燕 （浙江大学社会学系硕士研究生）； 闫堃 （ 浙江大学社会学系博士研究生）

校对 | 范晓光 （浙江大学社会学系副教授）

编辑 | 周航 谭欢 返回搜狐，查看更多