第三章学习笔记/情感分析与观点挖掘/SentimentAnalysis-and-OpinionMining by Bing Liu

文档情感分类

• 3.1 使用有监督学习的情感分类
• 3.2 使用无监督学习的情感分类
• 3.3 情感评级预测
• 3.4 跨域情感分类
• 3.5 跨语言情感分类
• 3.6 小结

从本章开始，我们讨论当前的主要研究方向或主题及其核心技术。情感分类可能是研究最广泛的话题（另见综述（Pang和Lee，2008））。其目的是将观点文档分类为表达正面或负面观点或情感。该任务通常也称为文档级情感分类，因为它将整个文档视为基本信息单元。关于该主题的绝大多数研究论文都是对在线评论进行分类。因此，我们也在评论的语境中定义问题，但该定义也适用于其他类似上下文。

**问题定义：**给定评估某一实体的观点文档，确定意见持有者对该实体的总体情感，即确定在五元组的GENERAL方面表示的情感s，五元组如下：
$(\_，GENERAL，s，\_，\_)$(_，GENERAL，s，_，_)
其中实体 $e$e，观点持有者 $h$h和时间 $t$t已知或无关（无关紧要）。

根据 $s$s取值的类型，有两种公式。如果 $s$s采用分类值，例如正值和负值，则这是一个分类问题。如果 $s$s在给定范围内（例如1到5）采用数值或序数值，则将变为回归问题。

为了确保任务在实践中有意义，现有研究做出了以下隐含假设（Liu, 2010）：

**Assumption假设：**情感分类或回归问题假设观点文档 $d$d（例如产品评论）表达了关于单个实体 $e$e的意见，并且包含来自单个意见持有者h的意见。

实际上，如果观点文档评估的实体不止一个，那么实体上的观点可能会有所不同。例如，观点持有者可能对某些实体持肯定态度，而对另一些实体持消极态度。因此，在这种情况下，将一种情感取向分配给整个文档是没有实际意义的。如果多个观点持有者在单个文档中表达意见也没有太大意义，因为他们的意见也可能不同。

该假设适用于产品和服务的评论，因为每个评论通常着重于评估单个产品或服务，并由单个评论者撰写。但是，对于论坛和博客文章，这种假设可能不成立，因为在这样的文章中，作者可能表达对多个实体的观点，并使用比较句进行比较。

下面，我们首先讨论分类问题以预测类别标签，然后讨论回归问题以预测评分。现有的大多数文档级分类技术都使用监督学习，尽管也有无监督方法。情感回归主要是使用监督学习进行的。最近，对这项研究的一些扩展也已经出现，最显着的是跨域情感分类（或域适应）和跨语言情感分类，这也将进行详细讨论。

3.1 使用有监督学习的情感分类

情感分类通常被表述为正面和负面的二分类问题。所使用的训练和测试数据通常是产品评论。由于在线评论具有由其评论者打分（例如1-5颗星），因此使用评分来确定正面和负面的等级。例如，将4或5星的评论视为正面评论，将1到2星的评论视为负面评论。大多数研究论文不使用中性分类，这使得分类问题变得更加容易，但是可以使用中性分类，例如，为所有三星级评论分配中性分类。

情感分类本质上是一个文本分类问题。传统的文本分类主要是对不同主题的文档进行分类，例如政治，科学和体育。在此类分类中，与主题相关的单词是关键特征。但是，在情感分类中，表示正面或负面观点的情感或观点词更为重要，例如，很棒，优秀，惊人，可怕，糟糕，最坏等。

由于这是文本分类问题，因此可以应用任何现有的监督学习方法，例如朴素的贝叶斯分类和支持向量机（SVM）（Joachims，1999; Shawe-Taylor and Cristianini，2000）。 Pang，Lee和Vaithyanathan（2002）是第一篇采用这种方法将电影评论分为正面和负面两类的论文。结果表明，使用一元模型（词袋）作为分类的特征的话，朴素贝叶斯和支持向量机都表现良好，尽管作者还尝试了许多其他特征选择。

在随后的研究中，许多研究人员尝试了更多的特征和学习算法。像其他有监督的机器学习应用一样，情感分类的关键是一系列有效特征的设计。一些示例特征包括：

Terms and their frequency词语及其频率。这些特征是单个单词（unigram）及其n-grams的相关频率计数。它们也是传统的基于主题的文本分类中最常用的特征。在某些情况下，单词位置也可以考虑到。来自信息检索的TF-IDF加权方案也可以使用。与传统的文本分类一样，这些特征对于情感分类也非常有效。

Part of speech词性。每个单词的词性（POS）也可能很重要。不同词性（POS）的单词可能会受到不同处理。例如，形容词是观点的重要指示器。因此，一些研究人员将形容词视为特殊特征。但是，也可以将所有POS标签及其n-grams用作特征。请注意，在本书中，我们使用标准的Penn Treebank POS标签，如表3.1所示（Santorini，1990年）。The Penn Treebank 网站位于http://www.cis.upenn.edu/~treebank / home.html

Sentiment words and phrases情感词和短语。情感词是一种语言中用来表达正面或负面情绪的词。例如，good, wonderful和amazing是积极的情感词，而bad, poor和terrible是消极的情感词。大多数情感词是形容词和副词，但名词（例如，rubbish，junk和crap）和动词（例如，hate和love）也可以用来表达情感。除了单个单词之外，还存在情感短语和惯用语，例如，cost someone an arm and a leg(花了某人一大笔钱)。

Rules of opinions观点的规律。除了情感词和短语，还有许多其他表达方式或语言成分可用于表达或暗示情感和观点。我们将在5.2节中列出并讨论一些这样的表达式。

Sentiment shifters情感转移词。这些是改变情感方向的表达，例如从正向改变为负，反之亦然。否定词是最重要的情感转移词。例如，“我不喜欢这台相机”这句话是否定的。还有其他几种类型的情绪转移词。我们也将在5.2节中讨论它们。并非所有此类词语的出现都意味着情绪变化，因此也需要谨慎处理。例如，“不仅……还”中的“不”不会改变情感取向。

Syntactic dependency句法依存。研究人员还尝试了从解析树或依赖树生成的基于单词依赖的特征。

除了使用标准的机器学习方法，研究人员还提出了几种专门用于情绪分类的定制技术，例如，（Dave，Lawrence和Pennock，2003年）中基于正面和负面评论的词的评分函数，和(Tong, 2001)中使用人工编辑的特定领域的单词和短语的聚合方法。

文献中已经发表了大量的论文。在这里，我们简单介绍一下。在(Gamon, 2004)中，对客户反馈数据进行了分类，与评价相比，反馈数据通常简短且嘈杂。在（Pang和Lee，2004）中，采用了图上的最小割算法来帮助情感分类。在（Mullen和Collier，2004； Xia和Zong，2010）中，句法关系与传统特征一起使用。在（Kennedy and Inkpen，2006; Li et al。，2010）中，上下文价和情感转移器被用于分类。在（Cui，Mittal和Datar，2006年）中，报告了当时使用几种情感分类算法进行的评估。在（Ng, Dasgupta和Arifin，2006）中，利用语言知识资源进行分类。在（Abbasi，Chen和Salem，2008年）中，提出了一种基于遗传算法的特征选择，用于不同语言的情感分类。在（Li，Zhang and Sindhwani，2009）中，提出了一种非负矩阵分解方法。在(Dasgupta and Ng, 2009; Li et al., 2011; Zhou, Chen和Wang, 2010)中，用半监督学习和/或主动学习进行实验。在(Kim, Li and Lee, 2009) 和(Paltoglou and Thelwall, 2010)中，研究并比较了不同IR项加权方案的情感分类。在(Martineau and Finin, 2009)中，提出了一种新的词语加权方案，称为Delta TFIDF。在(Qiu et al., 2009)中，采用了基于词典和自监督的方法。在(He, 2010)中，利用有标签的特征(而不是有标签的文档)进行分类。在 (Mejova and Srinivasan, 2011) 中作者探讨了各种特征定义和选择策略。在(Nakagawa, Inui and Kurohashi, 2010)中，提出了一种基于依赖树的分类方法，该方法使用了带有隐变量的CRF条件随机域(Lafferty, McCallum和Pereira, 2001)。在（Bickerstaffe和Zukerman，2010）中，提出了一种考虑类间相似性的分级多分类器。在（Li等, 2010）中，个人（I，we）和非个人（they, it, this product）句子被用来帮助分类。在（Yessenalina，Choi和Cardie，2010年）中，使用自动生成的注释器的原理来帮助分类。在（Yessenalina，Yue和Cardie，2010年）中，提出了多层结构化模型。在（Wang et al。，2011）中，作者提出了一种基于图的主题标签方法对Twitter帖子的情感进行分类；在（Kouloumpis，Wilson和Moore，2011）中，微博的语言特征以及获取微博中非正式和创造性语言信息的特征也得到了利用。在（Maas等, 2011）中，作者使用词向量可以捕获词的某些潜在方面以帮助分类。在（Bespalov et al。，2011）中，情感分类是基于监督的潜在n-gram分析进行的。在（Burfoot，Bird和Baldwin，2011年）中，对国会的辩论进行了分类。在（Becker和Aharonson，2010年）中，作者在心理语言学和心理物理学实验的基础上指出，情感分类应该集中在文章的最后部分。在（Liu et al。，2010）中，比较了博客和评论情感分类的不同语言特征。在（Tokuhisa，Inui和Matsumoto，2008年）中，对对话话语的情感分类进行了研究。它首先对情感类别进行了分类（积极、消极和中性），然后将积极和消极的话语分为10类情绪。

3.2 使用无监督学习的情感分类

由于情感词通常是情感分类的主要因素，因此不难想象情感词和短语可能会以无监督的方式用于情感分类。(Turney, 2002) 中的方法就是这样一种技术。它根据可能用于表达观点的一些固定句法模式进行分类。句法模式是基于词性（POS）标签组成的。（Turney，2002）中给出的算法包括三个步骤：

步骤1：如果两个连续的单词的POS标签符合表3.2中的任何模式，则将其提取出来。例如，模式2表示如果第一个单词是副词，第二个单词是形容词，第三个单词（不提取）不是名词，则抽取出前两个连续的单词。例如，在句子“这架钢琴产生美丽的声音”中，“美丽的声音”被提取出来，因其满足第一模式。使用这些模式的原因是JJ，RB，RBR和RBS单词经常表达意见。名词或动词用于充当上下文，因为在不同的上下文中，JJ，RB，RBR和RBS词可能表达不同的情感。例如，形容词（JJ）的“不可预测”在汽车评论中可能具有负面情绪，如“不可预测的转向”，而在电影评论中则可能具有正面情绪，例如“不可预测的情节”。

步骤2：使用逐点互信息（PMI）测度估计提取短语的情感取向（SO）：

PMI衡量两个词语之间的统计依赖性程度。在此，Pr（term1^term2）是term1和term2的实际同时出现概率，而Pr（term1）Pr（term2）是这两个术语在统计上独立的同时出现概率。根据短语与肯定参考词“ excellent”和否定参考词“ poor”的关联来计算短语的情感取向：

通过向搜索引擎发出查询并收集命中次数来计算概率。对于每个搜索查询，搜索引擎通常会向查询提供相关文档的数量，即命中数量。因此，通过一起搜索两个词并分别搜索，方程（1）中的概率可以估计。在（Turney，2002）中，使用了AltaVista搜索引擎，因为它具有NEAR运算符，可将搜索限制到包含单词（单词在彼此的十个单词之内，且顺序不限）的文档。令hits（query）为返回的命中数。公式（2）可以重写为：

步骤3：在给定评论的情况下，该算法会计算该评论中所有短语的平均SO，如果平均SO为正，则将该评论归为肯定，否则将其归为否。

各个领域评论的最终分类准确度从汽车评论的84％到电影评论的66％不等。

另一种无监督的方法是基于词典的方法，该方法使用情感词和短语及其相关方向和强度的词典，并结合强化和否定来计算每个文档的情感得分（Taboada等，2011）。该方法最初用于句子和方面级别的情感分类（Ding，Liu和Yu，2008； Hu和Liu，2004； Kim和Hovy，2004）。

3.3 情感评级预测

除了对正面情绪和负面情绪进行分类外，研究人员还研究了预测评论的评分分数（例如1-5星）的问题（Pang和Lee，2005年）。在这种情况下，由于评分得分是有序的，因此可以将该问题表述为回归问题，尽管并非所有研究人员都使用回归技术解决了该问题。 Pang和Lee（2005）尝试了SVM回归、“一对多”（OVA）策略的SVM多类分类以及称为度量标记的元学习方法。结果表明，基于OVA的分类明显比其他两种方法（执行效果相似）差。这是可以理解的，因为数值评级不是分类值。 Goldberg和Zhu（2006）通过将评分预测建模为基于图形的半监督学习问题，从而改进了该方法，该方法同时使用了带标签（有评分）和无标签（没有评分）的评论。未标记的评论也是需要预测评分的测试评论。在图中，每个节点都是一个文档（评论），两个节点之间的链接是两个文档之间的相似度值。较大的相似性权重意味着两个文档的情绪评级往往相同。论文尝试了几种不同的相似性方案。该算法还假设一个独立的学习者已经预测了未标记文档的数值评级。基于图的方法仅通过解决优化问题来修改评级，以使评级在整个图形上关于评级和链接权重都是平滑的，从而改善评级。

Qu，Ifrim和Weikum（2010）引入了文档的观点袋表示法，以获取带有观点的n-gram的强度，这与传统的词袋表示法不同。每个观点都是一个三元组，一个情感词，一个修饰词和一个否定词。例如，在“not very good”中，“good”是情感词，“very”是修饰语，“not”是否定词。对于两个类别（正面和负面）的情感分类，观点修饰词不是至关重要的，但对于评级预测而言，它非常重要，否定的影响也是如此。他们提出了一种受约束的岭回归方法，从评级评论的域间独立语料库（多个域）中学习每种观点的情感评分或强度。学习的关键思想是利用可用的意见词典和评价等级。为了将回归模型转移到新给定的领域相关应用中，该算法可得出意见得分的一组统计数据，然后将它们作为附加特征与标准的unigram一起用于评级预测。在进行这项工作之前，（Liu和Seneff，2009）提出了一种方法，该方法基于将句子解析为分层表示形式所获得的从句结构，来提取副词-形容词-名词短语（例如“ very nice car”）。他们基于启发式方法分配了情感分数，该方法基于出现这些单词的评论的评级来计算形容词，副词和否定词对情感程度的贡献。与上述工作不同，这项工作没有学习的内容。

Snyder和Barzilay（2007）并未预测每个评论的评级，而是研究了预测每个方面的评级的问题。一种简单的方法是使用标准回归或分类技术。但是，这种方法并未利用用户在不同方面的判断之间的依赖性。这些依赖性的知识对于准确预测很有用。因此，本文提出了两种模型，方面模型（适用于各个方面）和一致性模型（用于建模各方面之间的评级协议）。在学习中两种结合了模型。用于训练的特征是词汇特征，例如每个评论中的unigram和bigrams。

Long、Zhang和Zhu(2010)使用了与(Pang和Lee, 2005)类似的方法，但使用了一个Baysian网络分类器来对各个方面进行评级预测。为了获得较高的准确性，他们不是针对每个评论进行预测，而是专注于对选定的评论子集预测方面等级，该子集对方面进行了全面的评估。显然，这些评论的估计应该比其他评论的估计更准确，因为其他评论没有足够的信息。评论选择方法使用基于Kolmogorov复杂度的信息量度。所选评论的方面评级预测使用了机器学习。训练的特征仅来自于那些方面相关的句子。方面提取的方式与（Hu and Liu，2004）中类似。

3.4 跨域情感分类

研究表明，情绪分类对训练数据提取的领域具有高度的敏感性。使用来自一个域的观点文档训练的分类器通常对来自另一个域的测试数据表现不佳。原因是在不同领域中用于表达观点的单词甚至语言构造都可能完全不同。更糟的是，一个单词在某个域中可能表示肯定，但在另一域中可能表示否定。因此，需要领域适应或转移学习。现有研究主要基于两个方面。第一个设置需要针对新域的少量带标签的训练数据（Aue和Gamon，2005年）。第二个不需要新域的标记数据（Blitzer，Dredze和Pereira，2007； Tan等，2007）。带有标签训练数据的原始域通常称为源域，而用于测试的新域称为目标域。

在（Aue和Gamon，2005年）中，作者建议在这些域中缺乏大量标记数据的情况下将情感分类器转移到新域中。他们尝试了以下四种策略：
（1）对来自其他领域的带有标签的评论进行混合训练，并在目标领域进行测试；
（2）训练如上分类器，但将特征集限制为仅在目标域中观察到的特征；
（3）使用具有可用标签数据的域分类器的集合，并在目标域上进行测试；
（4）在目标域中组合少量标记数据和大量未标记数据（这是传统的半监督学习设置）。
支持向量机用于前三种策略，而半监督学习的EM（Nigam等，2000）用于第四种策略。他们的实验表明，策略（4）表现最佳，因为它能够利用目标域中的标记数据和未标记数据。

在（Yang，Si and Callan，2006）中，提出了一种基于特征选择的简单策略，用于句子级别分类的转移学习。他们的方法首先使用来自两个域的两个完全标记的训练集来选择在两个域中都排名很高的特征。这些选定的特征被视为与域无关的特征。然后将使用这些特征构建的分类器应用于任何目标/测试域。 （Tan等, 2007）提出了另一种简单策略，该策略首先使用来自源域的标记数据训练基分类器，然后使用该分类器对目标域中的一些informative样例进行标记。根据目标域中选择的样例，学习一个新的分类器，该分类器最终用于对目标域中的测试用例进行分类。

在（Blitzer，Dredze和Pereira，2007）中，作者使用了一种称为结构对应学习（SCL）的方法来进行领域适应，这是早先在（Blitzer，McDonald and Pereira，2006）中提出的。给定源域中带有标签的评论，以及源域和目标域中都没有标签的评论，SCL首先选择在两个域中都频繁出现的m个特征集，它们也是源标签的良好预测因子（本文选择互信息最高的特征作为源标签）。这些功能称为pivot features枢轴特征，它们表示两个域的共享特征空间。然后计算两个域中每个枢轴要素与其他非枢轴要素的相关性。这产生了相关矩阵W，其中第i行是一个非主特征与第i个主特征相关值的向量。直观上，正值表示这些非枢轴要素与源域或新域中的第i个枢轴要素正相关。这在两个域之间建立了特征对应。之后，采用奇异值分解（SVD）来计算W的低维线性近似值θ（前k个左奇异向量，转置）。用于训练和测试的最终特征集是特征的原始集x与θx结合，产生k个实值特征。使用源域中的组合特征和标签数据构建的分类器应在源域和目标域中均有效。

Pan等（2010）在高层提出了一种类似于SCL的方法。该算法适用于以下设置：源域中只有标记的示例，而目标域中没有标记的示例。它通过使用频谱特征对齐（SFA）算法来弥合域之间的鸿沟，借助域独立单词作为桥梁，将来自不同域的特定域词对齐到统一的群集中。与域无关的词就像（Blitzer，Dredze and Pereira，2007）中的枢轴词一样，可以类似地选择。 SFA的工作方式是首先构造一个二分图，将与域无关的单词作为一组节点，将与领域相关的单词作为另一组节点。如果一个域特定词与一个与域无关的单词同时出现的话，将它们链接到一起。可以将同现定义为在同一文档中或在窗口中同时出现。链接权重是它们同时出现的频率。然后将频谱聚类算法应用于二分图，以将特定域词和与域无关的词联合对齐成一组特征聚类。这个想法是，如果两个域特定词与图中更常见的独立于领域的词有联系，则它们更有可能被对齐或聚类在一起。类似地，如果两个独立于域的单词与图中更常见的特定于域的单词有连接，它们就更有可能被对齐在一起。对于最终的跨域训练和测试，所有数据样例均由这些群集和原始特征集组合而成。

沿着同样的思路，He，Lin和Alani（2011）使用联合主题建模从两个领域中识别观点主题（类似于上述工作中的聚类），以桥接它们。覆盖这两个领域的结果主题被用作附加特征，以扩充原始的特征集进行分类。在（Gao和Li，2011）中，主题建模也被用来建立基于两个领域中的领域术语对应关系和术语共现的公共语义空间。然后，使用该公共语义空间来学习应用于目标域的分类器。 Bollegala，Weir和Carroll（2011）提出了一种方法，该方法使用来自多个源域的标记数据和未标记数据自动创建对情感敏感的同义词库，以查找在不同域中表达相似情感的单词之间的关联。然后，使用创建的同义词库来扩展原始特征向量，以训练二进制情感分类器。在（Yoshida等, 2011）中，作者提出了一种通过识别依赖和独立于域的单词情感来从多个源域转移到多个目标域的方法。在（Andreevskaia和Bergler，2008）中，提出了一种使用两个分类器集成的方法。第一个分类器是使用字典构建的，第二个分类器是使用少量域内训练数据构建的。

在（Wu，Tan和Cheng，2009）中，提出了一种基于图的方法，该方法使用相似图上标签传播的思想（Zhu和Ghahramani，2002）来执行传输。在图中，每个文档都是一个节点，两个节点之间的每个链接都是使用两个文档的余弦相似度计算的权重。最初，旧域中的每个文档的标签得分为+1（正）或-1（负），而新域中的每个文档都基于正常的情感分类器分配了标签得分，该分类器可以从旧域学习。然后，该算法通过查找旧域中的k个最近邻居和新域中的k个最近邻居来迭代更新每个新域文档i的标签分数。使用相邻标签得分和链接权重的线性组合将新得分分配给节点i。标签分数收敛时，迭代过程停止。新域文档的情感取向由其标签分数决定。

Xia和Zong（2011）发现，在不同的域中，某些类型的词性（POS）标签的功能通常与域相关，而另一些则与域无关。基于此观察，他们提出了一个基于POS的集成模型，以将特征与不同类型的POS标签集成在一起，以提高分类性能。

3.5 跨语言情感分类

跨语言情感分类是指对多种语言的意见文档进行情感分类。跨语言分类有两个主要动机。首先，来自不同国家的研究人员希望以自己的语言构建情感分析系统。但是，许多研究都是用英语完成的。其他语言中没有多少资源或工具可用于快速构建这些语言的良好情感分类器。自然的问题是，是否有可能利用自动机器翻译功能以及现有的英语情感分析资源和工具来帮助构建其他语言的情感分析系统。第二个动机是，在许多应用程序中，公司希望了解和比较不同国家/地区的消费者对其产品和服务的看法。如果他们有英文的情绪分析系统，他们希望通过翻译快速建立其他语言的情绪分析系统。

一些研究人员已经研究了这个问题。当前的许多工作集中于文档级别的情感分类，以及句子级别的主观性和情感分类。除（Guo等，2010）中方面的工作外，方面级的工作进行得还很有限。在本节中，我们重点介绍跨语言文档级别的情感分类。下一章的第4.5节重点介绍句子级别。

在（Wan, 2008）中，作者利用英语中的情感资源对中文评论进行分类。该算法的第一步是使用多个翻译器将每个中文评论翻译成英文，从而产生不同的英文版本。然后，它使用基于词典的方法对每个翻译的英语版本进行分类。词典由一组积极词汇、一组消极词汇、一组否定词汇和一组加强词组成。然后，算法会考虑否定词和增强词，汇总评论中术语的情感分数。如果最终分数小于0，则评论为负面，否则为正面。对于每条评论的最终分类，它使用各种集成方法，例如，平均值，最大值，加权平均值，投票等。如果有中文词典，同样的方法也适用于中文版本。其结果也可以与那些英语翻译的结果相结合。结果表明，集成技术是有效的。 Brooke，Tofiloski和Taboada（2009）还尝试了从源语言（英语）到目标语言（西班牙语）的翻译（仅使用一种翻译器），然后使用基于词典的方法或机器学习对目标语言文档的情感进行分类。

在（Wan，2009）中，提出了一种协同训练方法，该方法利用带注释的英语语料库以监督方式对中文评论进行分类。没有使用中文资源。在训练中，输入内容包括一组有标签的英语评论和一组无标签的中文评论。带标签的英文评论被翻译成带标签的中文评论，而没有标签的中文评论被翻译成无标签的英语评论。因此，每个评论都有一个英文版和中文版。每个评论的英文和中文特征被认为是两个独立且冗余的观点。然后将使用SVM的协同训练算法应用于学习两个分类器。最后，将两个分类器合并为一个分类器。在分类阶段，首先将每个要测试的未标记中文评论翻译成英文评论，然后将学习到的分类器用于将评论分为正面评论或负面评论。

Wei和Pal（2010）提出将转移学习方法用于跨语言情感分类。由于机器翻译仍然远远不够完善，为了最大程度地减少翻译中引入的噪声，他们建议使用上一节中讨论的结构对应学习（SCL）方法（Blitzer，Dredze和Pereira，2007）来寻找两种语言（英语和中文）共享的少量核心特征。为了缓解数据和特征稀疏性的问题，他们向搜索引擎发出了查询，以查找与核心特征集中的特征高度相关的其他特征，然后使用新发现的特征来创建额外的伪样本进行训练。

Boyd-Graber和Resnik（2010）扩展了有监督的潜狄利克雷分配（SLDA）的主题建模方法（Blei和McAuliffe，2007），以研究来自多语言的评论，以进行评论评级预测。 SLDA能够考虑主题建模中每个评论的用户评分。扩展模型MLSLDA同时使用多种语言的文档创建主题。由此产生的多语​​言主题在所有语言中都是全球一致的。为了在主题建模中桥接不同语言的主题词，该模型使用了不同语言或词典的对齐WordNet。

在（Guo等，2010）中，提出了一种基于主题模型的方法，该方法将一组不同语言的给定方面表达形式划分为方面簇（类别），以比较来自不同国家的意见的基于方面的情感（另请参见第5.3节.4）。

在（Duh，Fujino和Nagata，2011年）中，作者对跨语言情感分类研究提出了自己的看法。根据他们的分析，他们声称域不匹配不是由机器翻译（MT）错误引起的，即使使用完美的MT也会导致准确性下降。他们还认为，跨语言适应问题与自然语言处理中的其他（单语）适应问题本质上是不同的。因此，应考虑使用新的自适应算法。

3.6 小结

文档级别的情感分类提供了对实体、主题或事件的总体意见。许多研究人员已经对其进行了研究。但是，这种级别的分类在应用上有一些缺点：

• 在许多应用中，用户需要知道其他细节，例如，消费者喜欢和不喜欢实体的哪些方面。在典型的观点文档中，会提供此类详细信息，但文档情感分类不会为用户提取它们。
• 文档情感分类不容易应用于非评论（例如论坛讨论，博客和新闻文章），因为许多此类帖子可以评估多个实体并进行比较。在许多情况下，很难确定发布是否真的对用户感兴趣的实体发表评价，以及帖子是否表达任何意见，更不用说确定用户对这些实体的看法了。文档级情感分类不会执行此类细粒度的任务，而这需要深入的自然语言处理。实际上，在线评论不需要情感分类，因为几乎所有评论都已经具有用户指定的星级评级。实际上，需要对情感进行分类的是论坛讨论和博客，以确定人们对不同实体（例如产品和服务）和主题的看法。