上财信管 | 暑期在线学术讲座一周回顾(8.9-8.15)

上海财经大学信息管理与工程学院

2021-08-21 22:42 浏览量: 2911

8月9日至8月15日，我院邀请国际知名学者开展6场线上讲座，内容主要涵盖运筹优化与运营管理研究前沿、信息管理与电子商务研究前沿、人工智能领域研究前沿系列领域。

信息管理与电子商务研究前沿系列

TITLE:

More Than Double Your Impact: An Empirical Study of Match Offers on Charitable Crowdfunding Platforms

8月9日上午，来自印第安纳大学凯利商学院的助理教授谭雪为大家带来了题为“More Than Double Your Impact: An Empirical Study of Match Offers on Charitable Crowdfunding Platforms”的讲座。谭老师的研究兴趣主要包括社交网络分析、在线众筹和电子商务等。

讲座伊始，谭老师针对于研究背景给大家做了详细的介绍。在众筹平台上，如何能吸引更多的筹款者以及捐赠者是一个至关重要的问题。“Match Funding”的机制是解决该问题的可行途径之一。具体定义为：在被matcher（通常是第三方的公司或机构）选中的项目中，普通捐赠者捐多少matcher就会以一定的的比例跟捐多少。谭老师及其合作者基于Donorschoose 平台2005年到2009年的公开项目数据分析探究了“Match Offers”带来的影响。

在文献回顾部分，谭老师将关于现有“Match Offers”效果的研究总结为了positive和negative两个大类，谭老师指出在不同的研究背景下，“Match Offers”带来的影响是不同的。在此基础上，谭老师及其合作者对研究内容进行了深入分析和探索，提出了三个研究问题：(1)捐赠者对有无“Match Offers”的慈善项目是否存在不同程度的偏好；（2）捐赠者对“Match Offers”的偏好如何随着他们的捐赠经验而变化；（3）筹款者如何对“Match Offers”的引入做出反应。

此项研究的框架主要分为三个层面的分析：Individual-level，Zipcode-level以及Transaction-level。在Individual层面，通过对科布-道格拉斯效用等理论模型的变形和推导以及实证分析，谭老师及其合作者成功回答了第一、二个研究问题：（1）平均而言，捐赠者在有“Match Offers”的慈善项目中获得的效用高于没有“Match Offers”的（2）warm-list donors（最近活跃的捐助者）向“Match Offers”项目捐款的可能性是非“Match Offers”项目的三倍，而cold-list donors（较早之前有过捐赠行为而最近没有捐赠行为的捐赠者）这样做的可能性要高两倍；然而，在平台上没有历史捐赠记录的新捐赠者对非“Match Offers”的项目更感兴趣。在Zipcode层面，谭老师及其合作者关注了“Match Offers”项目在所有项目中的比例，回答了第三个研究问题：“Match Offers”项目比例增加 1% 导致需求方（筹资者）要求的资金增加 1.34%，供应方（捐赠者）提供的资金增加 0.854%。关于Transaction层面的研究也得出了和上述相符的结论，作为Robust check，这一层面的结果使研究结论更加地充实可信。

在理论层面，该项研究分析了“Match Offers”对捐赠者影响的异质性并提出了“Match Offers”在market层面的影响，是对现有文献的补充和丰富。此外，根据以上结果，老师也提出了对不同类型捐赠者进行针对性分析、利用matching来提高筹资者参与度等应用建议，具有较高的实践价值。在讲座的最后，谭老师耐心解答了同学们的疑问，讲座在热烈地讨论和交流中画上了圆满的句号。

人工智能领域研究前沿系列

TITLE:

Getting stuff into and out of knowledge graphs: towards bridging the knowledge-language gap

8月9日，学院邀请了澳大利亚莫纳什大学(Monash University)的李元放（Yuanfang Li)教授为大家介绍自然语言处理中的知识图谱的前沿研究。

李教授首先介绍了知识图谱的基本概念。知识图谱通常由一系列三元组构建高质量的知识图谱能够为众多下游任务提供改进策略，然而在知识图谱的处理中具有如下的一些挑战：1. 多样性：训练数据的结构多种多样（长文本、短文本、图片、表格等）。2. 稀疏性：训练数据匮乏。3. 复杂性：从知识图谱中挖掘信息需要复杂的操作，而不只是单纯的遍历知识图谱。4. 连续性：随着数据的不断产生，需要不断更新知识图谱，然而我们很难承担每次都从头训练模型的代价。接着，李教授介绍了两部分主要内容。第一部分，李教授为大家介绍了三种典型的知识图谱构建任务。第二部分，李教授围绕他近期的工作介绍了知识图谱在一系列下游任务中的具体应用。在第一部分，李教授先介绍了知识图谱构建的概念，即从非结构化数据中寻找事实信息，并将它们重构为结构化的格式。他分别就命名实体挖掘、事件检测、关系挖掘三种知识图谱构建的子任务展开详细阐述。李教授首先介绍命名实体挖掘（或命名实体识别，NER），这是自然语言处理中的一个重要的任务，即对文本中各个实体的类型（如人名、地名、时间等）进行分类预测。因为命名实体本身可以视为兴趣点（POI），因此可以应用于诸如产品定向以及用户画像等下游任务中。接下来事件检测也是一类重要的NLP任务，它的目标是从文本中挖掘出发生的事件，并对这些事件进行分类。事件检测任务一般会局限在一个特定领域中进行，常见的如社交媒体分析、经济事件挖掘等。在事件检测任务中一般需要大规模的标注数据集，这需要大量的人力，因此往往可获得的数据集规模较少，因此针对小样本或样本事件应当如何设计模型进行检测？李教授说一种方法是使用meta-learning techinques以及Model-agnostic Meta-learning（MAML），另一种方法则是广泛使用的借助外部知识库进行辅助建模。

最后一个任务是关系挖掘，即根据一段文本来预测三元组第二部分中李教授主要围绕基于知识库的问答任务（KBQA）展开介绍，该任务的输入是知识图谱以及一个自然语言问题，模型输出该问题的答案（可以从知识图谱中推理得到）。目前主要的KBQA任务的解决方法分为三类：1. 机器翻译：即构建seq2seq模型。2. 分类任务：构建分类任务，一些子任务如实体关系预测等。3. 语义解析：将自然语言问题映射为逻辑形式，如将自然语言问题转化为SQL语句等。

事实上，这一类任务是非常复杂的，因为涉及的问题类型非常广泛，包括WH问题、查询问题、最高级问题以及判断题，问题的回答也是多种多样，包括一系列实体、描述或解释、数字、时间等。

这些问题有的只需要一条关系即可得出答案（one-hop），有的则需要多跳推理（multi-hop）才能得到最终的答案，有些问题则需要遍历整张知识图谱才能得到正确的答案，如下面这个计数问题（中国和印度一共有多少条河流？）：

李教授向大家介绍了一些常用的KBQA数据集：如WebQuestions，WebQuestionsSP，ComplexWebQuestions，FreeBase，并对最常用的WebQuestionsSP的数据结构进行详细描述：

最后李教授总结了KBQA问题的诸多挑战：1. 如何搭建自然语言与结构化知识之间的关系？2. 如何处理带有噪声的、多元的自然语言？3. 如何在大规模的知识图谱上建模学习？4. 如何针对多个知识库进行查询？5. 如何将已经训练好的模型应用到新领域中？在讲座的最后阶段，李教授简要介绍了如何利用前沿的神经符号学习方法解决KBQA任务：

在这种方法体系下，通常需要定义一系列符号算子来对自然语言问题进行转换，常见的符号算子如下所示：

但是往往对于不同的知识库，需要设计不同的符号算子进行编码，这就意味着建模方法很难迁移到其他领域的知识库中。李教授指出在这一领域，目前仍然存在诸多的挑战，这仍然需要不断地探索与研究。

信息管理与电子商务研究前沿系列

TITLE:

Optimal Freemium Pricing and Ephemeral State-dependent Recommendations of Digital Content

8月10日，来自弗吉尼亚大学的Natasha Zhang Foutz教授为学院师生带来主题为“Optimal Freemium Pricing and Ephemeral State-dependent Recommendations of Digital Content”的在线学术讲座。张老师带领其团队基于国内一家年收入超2.7亿美元的电子书平台展开了研究，研究内容涉及电子书平台的两个基本策略——免费增值定价策略与电子书推荐策略，该报告对这两个研究项目进行了详细介绍。

第一个研究项目是电子书最优免费增值定价策略研究（Optimal Freemium Pricing）。免费增值定价策略是数字内容平台常用的一个基本策略，它指的是平台免费提供一部分的初始内容（例如，电子书的前若干章）以吸引消费者，并通过向消费者出售后续内容的手段来获取利润的盈利模式。电子书平台在制定免费增值定价策略时面临的一个重要问题是：如何确定电子书的最佳收费点（即从哪个章节开始收费），能够为平台吸引更多消费者，进而创造更大的利润？

现有的电子书收费点确定方法要么是固定不变的（即从固定的章节开始收费），要么就是通过人工的方法来进行评估。采用从固定章节开始收费的方法难以达到经济效益最大化的目标，以人工评估的方法来制定收费点则需要消耗大量的人力物力以及时间成本，当电子书数量巨大时是难以实现的。该研究项目首先依托电子书平台设计了超130万客户的大规模田野实验，确定了电子书样本的最佳收费点；然后，本项目通过文本分析的方法揭示了电子书样本的最佳收费点与书本内容动态（例如，情绪高潮）之间的关系，从而为电子书平台提供了一种自动化、个性化的免费增值定价策略，该策略从期望上能够使平台的年收入提升约50%。

该研究项目的框架图与主要发现如上图所示。

在第一部分，该研究进行了大规模的田野实验来确定电子书样本的最佳收费点，该实验涉及了约130万个客户，及50本随机挑选的电子书。在实验中，客户被划分为一个控制组（依照平台原本设置的收费点进行收费）与五个实验组，接着该研究跟踪了客户在一个月时间内的付费表现，将付费最高的实验组对应的收费点作为了最优收费点。田野实验的结果表明，在50本随机挑选的电子书中，约86%的书籍的最优收费点与平台设置的初始收费点是不同的；另外，若平台按照发现的最优收费点策略进行收费，期望上能够为平台带来50%的利润增长。

第二部分采用了文本分析与统计分析的方法对电子书的动态内容与最优收费点之间的关系进行了分析。具体地，该研究首先使用SnowNLP工具（基于朴素贝叶斯的情感分类器）计算了电子书每一章内容情感得分的均值与方差，用于指示电子书内容的情感高潮点。然后，该研究以消费者的付费值为因变量，付费点相对于情感高潮点的位置作为自变量，以书的特征、消费者特征、作者特征等作为控制变量建立了Tobit Model。经统计分析发现，若将付费点设置在第二个情感高潮点之后，通常能够吸引消费者产生更高的消费。

第三部分则对产生以上结论的消费者行为机制进行了探索。具体方案是，该研究对消费者评论情感与电子书内容情感进行了回归分析，并以回归结果的R2值作为二者契合度的衡量。结果表明，在电子书内容的第二个高潮点后，消费者情感与电子书内容情感的契合度是最高的，若将收费点设置在此时，高度的情感契合度会给平台带来更高的收入。

最后，该研究以收费点为因变量进行了回归分析，并基于回归分析的结果为电子书平台的免费增值定价策略提供了一些建议：对于一些流行的书籍、作者，或高消费的消费者，在电子书内容的第二个高潮点后进行收费是最优的；而对于一些可读性高，价格高，发行时间早的读物，可以将收费点设置得更早一点（例如，第一个高潮点后进行收费）等等。以上结论也表明，收费点的设置不应是一成不变的，受电子书特征、读者特征、作者特征等多方面因素的影响，平台应该设置个性化的收费点。

第二个研究项目是依赖短期状态的数字内容推荐（Ephemeral State-dependent Recommendations of Digital Content）。电商平台使用推荐系统为用户提供商品推荐服务已成为常态。现有的文献通常依据消费者长期的偏好为其进行商品推荐（enduring preference），或是倾向于为消费者推荐同质的、类似的商品（assimilation），或是为消费者推荐不一样的、多元化的商品（diversification）。然而这些推荐策略缺乏变通，忽略了消费者的短期状态影响，容易导致消费疲劳与利润侵蚀，不利于平台的长远发展。

该研究项目立足于国内某电子书平台，首先将消费者的短期状态分为固定状态（fixation）与觅食状态（forage），并对以下研究问题进行了探索与分析：短期状态对电子书消费者的下载与阅读行为有什么影响？短期状态对不同特征的消费者是否具有不同影响？分析消费者短期状态能够为平台的推荐策略提供什么建议？

通过设计实验的方法，我们得以对以上问题进行了探索，在实验开始之前，我们先按照消费者前七天时间内阅读电子书品类的数量对其短期状态进行划分：若其前七天内阅读的电子书品类只有一种，则其短期状态为固定状态；若其前七天内阅读的电子书品类为两种或以上，则其短期状态被标记为觅食状态。实验共设置了一个控制组与三个实验组：对于控制组的消费者，我们总是向其推荐它消费过的类似的商品（always assimilation）；对于第一个实验组，我们为其中的消费者推荐多元化的商品（always diversification）；在第二个实验组中，我们使用一种与消费者“拧着干”的推荐策略，即消费者短期状态为固定状态时采用多元化推荐，而消费者处于觅食状态时采用相似商品推荐；在第三个实验组中采用的推荐策略与第二个实验组正好相反，是一种与消费者“顺着来”的推荐方法，即消费者短期状态为觅食状态时采用多元化推荐，消费者为固定状态时采用相似商品推荐。接下来，该研究项目采用了回归分析的方法，在该回归模型中，因变量为消费者的下载量与阅读量，自变量为消费者组别的哑变量，控制变量包括书的特征以及消费者个人的一些特征。通过回归分析得出的主要发现为：采用与消费者短期状态“拧着干”的策略（实验组二），能够吸引消费者产生更多的下载量，但阅读量不会增加；采用与消费者短期状态“顺着来”的策略（实验组三），能够吸引消费者产生更多的阅读量并增加阅读时长。

进一步的，我们对不同特征的消费者进行了分析。按照消费者前三个月的行为特征将其从三个方面进行了类别划分：消费者的长期偏好是广泛型的还是集中型的，消费者倾向于白天看电子书还是晚上看电子书，消费者阅读行为一次持续较长时间还是利用碎片化时间进行阅读。该部分实验结果发现：当消费者特征体现为长期偏好较为集中，倾向于晚上读书和利用碎片化时间读书时，采用与其短期状态不一致的推荐策略会使增加消费者的阅读量。

运筹优化与运营管理研究前沿系列

TITLE:

A Riemannian Block Coordinate Descent Method for Computing the Projection Robust Wasserstein Distance

8月11日下午，来自加州大学戴维斯分校的马士谦教授带来了主题为“Riemannian Optimization for Projection Robust Wasserstein Distance and Wasserstein Barycenter”的线上学术讲座。讲座伊始，江波老师对马老师表示了欢迎并向大家介绍了马老师的学术背景。马老师博士毕业于哥伦比亚大学，目前在加州大学戴维斯分校任教，主要研究兴趣为优化理论、运筹学以及其在数据科学、机器学习、统计等中的应用。

马老师向大家介绍了他的团队今年发表的两篇有关Wasserstein Distance的工作。其中，第一篇工作提出了一种新的计算Projection Robust Wasserstein Distance的方法（RBCD），其在理论与数值实验中都比已有的方法有着更优秀的复杂度。在第二篇工作中，马老师团队将上述方法运用到了寻找Wasserstein Barycenter的问题中去。通过将原问题进行一些松弛，我们可以用RBCD求解相应的问题，并在数值实验中取得了良好的效果。

在讲座的第一部分，马老师首先向大家介绍了Wasserstein Distance的概念以及一些相关的问题。Wasserstein Distance度量了两个概率分布之间的距离，目前在生成式对抗神经网络（GAN）中有重要应用。在通过采样来估计Wasserstein Distance时，人们往往会面临Curse of Dimensionality的问题。为了解决这一问题，Paty/Cuturi与Niles-Weed/Rigollet在2019年提出了Projection robust Wasserstein distance的想法。这一方法并不在全空间内计算W distance，而是在一个低维的子空间上来对其进行估计。为了保证估计的robust性质，在确定了子空间维度k之后，会考虑所有的k维子空间组成的一个流形，在该流形上对W distance取max。由于在W distance的定义中有一个取min的操作，至此我们获得了一个非凸非光滑的max-min问题。对于求解这一问题，已有的方法是RGAS: Riemannian gradient ascent meets Sinkhorn’s algorithm。这一方法使用正则化+流形优化的方法保证了一阶的收敛性质。

随后，马老师介绍了他们提出的方法RBCD:Riemannian Block Coordinate Descent Algorithm。通过写出内层min问题的对偶问题，马老师将原来的max-min问题化为一个带流形约束的多变量max问题。为了求解这一问题，马老师使用了block coordinate descent (BCD) method，并根据这一问题的性质与流形优化的方法，写出了该方法的迭代格式。为了理论上获得该方法的收敛速度，马老师介绍了epsilon--stationary的概念。马老师介绍，在该定义下，他们的RBCD方法具有比RGAS更快的收敛速度。在数值实验中，通过引入子空间并使用RBCD的方法，在三项生成数据实验中我们都获得了更小的误差与更快的收敛速度。在real data的实验中也取得了良好效果。

在下一部分，马老师介绍了RBCD的优化方法在寻找Wasserstein Barycenter上的应用。Wasserstein Barycenter问题在W distance的意义下寻找一些概率分布的均值（即到其他所有分布的距离之和最小），可以用来刻画分布一些总体信息。类似上文，通过引入子空间以及robust的性质，马老师团队将Wasserstein Barycenter问题写成了一个min-max-min问题。为了求解这一困难的问题，马老师将其进行了一些改写与松弛，获得了一个max-min问题。再利用上文中同样的正则化与对偶的技巧，马老师将其写成了单阶段的max问题。到此，我们就可以直接使用RBCD的优化方法，并获得与上文相同的收敛速度。在数值实验中，在求解Wasserstein Barycenter问题上，RBCD具有更好的 robustness并解决了一些curse of dimensionality问题。并且在基于RBCD的分布聚类问题上，相比传统方法，RBCD也有着更好的效果。

人工智能领域研究前沿系列

TITLE:

Ultra-wide Neural Networks and Neural Tangent Kernel

8月12日，学院邀请了华盛顿大学计算机科学与工程学院助理教授杜少雷（Simon S. Du）博士做了题为“Ultra-wide Neural Networks and Neural Tangent Kernel”的讲座。杜博士首先介绍了有监督学习的概念、模型背后应考虑的因素，以及对机器学习进行理论分析的价值。通过杜博士的报告，我们了解到，通过有关Neural Tangent Kernel的理论分析，可以解释两个关于神经网络的神奇现象：第一，即使神经网络的优化目标函数是高度非凸的，简单的梯度下降算法可以找到全局最优解。第二，即使神经网络的参数比数据量还要大，神经网络依然享有极优的泛化性能。

讲座主要分为两个部分，一是对神经网络优化和泛化现象的解释。二是讨论了超参数化神经网络（Over-parameterized Neural Netwojiaork）和一种新的核函数，神经切向核函数（Neural Tangent Kernel）的等价性，以及该核函数在实际数据中的表现。

在第一部分对神经网络优化和泛化现象进行解释时，杜博士首先指出深度学习在保持训练误差最小的同时，还能在测试集上获得较低的泛化误差。杜博士指出，机器学习的传统观点认为，在训练误差和泛化误差之间存在着谨慎的权衡。如果模型复杂度太大，虽然可获得相当好的训练误差，但是可能会导致过拟合（overfit）。然而，如今经常使用高度复杂的超参数化模型（如深度神经网络），这些模型通常经过训练以在训练数据上实现接近零的误差，但是它们在测试数据上仍然具有显著的性能。例如，现有的很多深度学习的任务采用神经网络的参数远远超过训练数据个数，称之为超参数神经网络（Over-parameterized Neural Network）。

为此，杜博士主要尝试解释两个问题：一是为什么超参数深度神经网络模型在采用梯度下降学习时可以获得0误差？二是为什么超参数深度神经网络模型在采用梯度下降学习时可以在测试集上获得较小的泛化误差？

接下来，杜博士介绍kernel方法，他首先介绍了kernel方法的基本思想，是将原空间的数据变换到新向量空间，然后用一些简单的模型，如线性回归。他指出，如果神经网络的width足够大，采用梯度下降训练方法，理论上可以保证在训练数据集合上收敛到0误差。这一结论，对于训练数据集的任意标签方案均成立。进一步，杜博士给出了一个在测试集上的泛化误差的理论上界，该上界是一个依赖于训练数据集的估计值。

在第二部分，他进一步阐述了超参数神经网络与kernel方法的等价问题，描述了在标准的监督学习设置情况下，如何训练一个超宽的完全连接的神经网络，通过简单微分，推导得到该网络设置下的kernel函数，该函数与在t时刻的网络输出的梯度相关。

杜博士指出，当网络的Widthàpoly(n)时，H(t)只依赖于输入数据；训练NN的过程和训练核方法的loss很相似，其中，H(t) 是基于kert(x,y) 函数在训练数据上求值得到的关于kernel矩阵。

接着杜博士介绍了主要理论结果的证明思路，在神经网络在大宽度假设条件下，时变核kernel 总是以高概率接近确定性的固定kernel，这个kernel就是神经切线核函数（NTK）。在随机初始化的参数下，核函数随机变量将收敛于确定值，并且核函数值在训练过程中几乎保持不变。

进一步，杜博士讨论了收敛速度，即训练过程所需要的时间。他指出，在具有真实标签值的数据集上收敛速度要快于赋予随机标签的数据集。理论研究结果显示，将H*矩阵按照特征值进行分解，那么与较大特征值相关的分量收敛要快于特征值垫底的其他分量。因此，如果数据集的投影近于均匀分布或集中在垫底的特征向量上，梯度下降的训练将比较慢。

在建立了这种理论上的等价性之后，杜博士最后进一步介绍了NTK方法的实际应用效果。分别介绍了全连接NTK在特征数据集上的效果、Graph NTK对图进行分类时的效果，CNTK在小样本学习时的效果，于图像数据集，需要使用卷积神经网络（CNN）来实现良好的性能，推导了NTK的扩展，即卷积神经切线核（CNTK），并在CIFAR-10上测试了它们的性能。

讨论了在标准图像分类数据集CIFAR-10上测试卷积神经切线核（CNTK）的性能。在不同深度的CNNs和CNTKs的对比实验发现，CNTK实际上是非常强大的内核。有趣的是，全局平均池操作可以显著提高CNN和CNTK的分类精度。从这一观察中提示我们，许多提高神经网络性能的技术在某种意义上可能是通用的，也就是说，这些技术也可能有益于内核方法。

最后，杜博士进行了总结。理解超参数深层神经网络的良好性能无疑是一个具有挑战性的理论问题，通过神经切线核函数NTK，我们对一类超宽神经网络有了更好的理解。今后的可能研究方向包括将神经网络的不同结构/技巧（例如：批处理，dropout, 最大池化等）“翻译”到内核，并检查它们的实际性能。

运筹优化与运营管理研究前沿系列

TITLE:

Machine Learning in Strategic Environments

8月13日上午，来自弗吉尼亚大学的徐海峰教授带来了“Manipulating Learning Algorithms in Strategic Environments”的讲座，徐教授的研究兴趣主要是算法博弈和机器学习、数据科学的交叉，在理论计算机和机器学习领域STOC，SODA，EC，NeurIPS，ICML等顶级会议上发表论文近40篇。

徐教授首先通过一个简单的例子来引出主要关心的问题，即尽管卖家不知道买家的效用函数，但他可以通过不断的调价，并观察买家的行为来学习出价格与买家的行动之间的关系，并最终做出最有利于自己的定价决策。在这样一个博弈过程中，尽管买家是被动的一方，但他可以通过操纵自己的行为，来干扰卖家的学习结果，从而最大化自己的利益。在此基础上，徐教授讨论了一种一般的模型框架，从而可以从理论上分析最优的模仿函数并研究它对博弈双方的影响。

接下来，徐教授在这个模型框架下通过两个实例讨论了两种基本的设定。其中一个是单独买家和卖家的例子，徐教授给出了能够使得买家利益最大化的“模仿函数”的表达形式，分析了卖家的成本函数分别为凹函数和凸函数情况下的影响，并讨论了买家计算出其最优策略的计算复杂度。另一个例子考虑的是对抗性的资源分配问题。在这个例子中，attacker的最优“模仿函数”永远与defender的效用函数互为相反数，这就变成一个零和博弈问题。