“大数据分析的思路与方法浅谈”

11月27日，由西安交通大学管理学院MBA中心主办，西安交通大学MBA暨专业学位创投俱乐部承办的“大数据分析的思路与方法浅谈”主题讲座顺利举行，讲座特邀西安交通大学教授刘跃文做精彩分享。刘跃文教授从香港城市大学、中国科学技术大学获得博士学位，具有丰富的数据挖掘经验，获批“QQ可能认识的人”等十余项专利，在ISR等国际期刊上发表数十篇论文，并获得了国家重点研发计划、国家自然科学基金等多项基金资助。

讲座核心

关键词：描述现状 识别异常 发现规律 预测未来

讲座中刘跃文教授传道受业解惑，讲述了什么是大数据，我们应该如何理解数据、如何分析数据以及如何从数据中获取价值，刘跃文教授分享的关于大数据分析的“十六字箴言”贯穿于整个讲座之中。

什么是大数据？数据分析挖掘价值

术语“大数据”倾向于指使用预测分析、用户行为分析或某些从数据中提取价值的其他高级数据分析方法，很少涉及特定规模的数据集。

毫无疑问，现在可用的数据量确实很大，但这不是这个新数据生态系统最相关的特征。对数据集的分析可以发现新的相关性，从而发现业务趋势、预防疾病、打击犯罪等。

同时科学家、企业高管、医学从业者、广告从业者和政府都经常遇到在这些领域使用大型数据集的困难。大数据并不是万能的，真正可以付诸大数据、人工智能实践并产生商业价值的部分，只有业务、数据、技术均可行的区域。

大数据分析的"十六字箴言"

描述现状 、识别异常 、发现规律 、预测未来

大数据分析了解的是常识所不能触及的现状，避免用数据分析数据，核心是找到什么是正常数据，什么是异常数据。数据异常是相对于正常的，进行数据异常分析需要寻找参考系，比如绝对值、历史值、横向比较值、其他数据体系、理论等；

了解数据表象背后的原因，如整体性规律、个体性差异、随机性原因、数据问题等，需要利用周期性规律判断数据异常，同时分析规律也往往要通过过滤异常后才会浮现，数据分析是当出现一个数据模式的时候，探索哪些是客观规律，能否通过曲线拟合得到预测值。整个数据分析的过程都围绕“描述现状 、识别异常 、发现规律 、预测未来”做价值挖掘。

创新扩散理论的价值

创新扩散理论是传播效果研究的经典理论之一，是由美国学者埃弗雷特·罗杰斯(E.M.Rogers)于20世纪60年代提出的一个关于通过媒介劝服人们接受新观念、新事物、新产品的理论，侧重大众传播对社会和文化的影响，该创新扩散模型具有三大特性：

1、累积接受者的分配图形具有S型的曲线；

2、当期的增加购买者具有钟型（Bell）的区线型态；

3、Bell曲线是对称的。S曲线揭示了累积扩散程度，即新品的销售状况；Bell曲线揭示了新品扩散的速率，既市场增长率，其受到创新系数和模仿系数的影响，P( T) = p+ ( q/ m) Y( T) 其中P和q/m是常数，Y（T）是先前买家的数量。

通过“彩色电视机的销量”的预测案例，我们明确新产品一定遵循创新扩散理论，且通过创新扩散理论可识别潜在客户从而进行市场布局。数据分析研究的是事物的内在规律而不是数据的多少，发现内在规律预测未来才是数据分析的价值。

数据探索性分析的方法

刘跃文教授讲到，数据按照是否结构化可分为三种，分别为结构化数据（行数据, 存储在数据库里,可以用二维表结构来逻辑表达实现的数据)，非结构化数据（视频、图像、音频、文本、文档、网页等）以及半结构化数据（具有一定的结构性,但结构变化很大,如XML）。

我们做数据分析首先要了解数据的基本情况，需要明确：从哪里获取数据？数据反应了什么业务情况？需求方需要实现什么目标？有多少条数据？数据有多少个字段？同时刘教授也讲授了三种数据探索性分析的方法，如下：

“单变量”数据探索:数据分布、统计指标、现状描述；

两变量关系数据探索:关联关系、对比分析；

三变量关系数据探索:分组关联关系对比、多层级对比分析、可视化交互。

现场演示

最后刘跃文教授现场演示，通过案例和软件让大家更加清晰如何理解和应用大数据，如何实现大数据分析，如何从大数据中获取价值。

答疑解惑

此次讲座在所有同学的意犹未尽中渐近尾声，刘老师针对大家的疑问做了答疑解惑，老师说到自己学习生涯中遇到的最大挑战是“学的越多，不会的越多”，寄语西安交大的莘莘学子不断学习不断接受新挑战，开创美好未来。

本次活动由西安交通大学管理学院MBA中心主办、西安交通大学MBA暨专业学位创投俱乐部承办。

对接学校优质项目、对接投资机构请扫描以下二维码

王 岩

活动 |创投部

统筹 |王 岩

编辑 | 赵雪艳

审核 | 赵泽宇、吴治俭

诚征联合会活动

年度品牌合作商

饮水者来来往往，思源人熙熙攘攘；

您为我心心念念，我回报郁郁葱葱。

品牌合作请扫码

联系人：贺茜