厦大会计系大数据课程(六)：唯你网传授大数据实战技艺

11月8日晚上7点，唯你网面向厦门大学会计系开展的《大数据时代下会计审计实务与变革》系列课程第六堂课如期开讲。本期课程由唯你网大数据研发中心大数据架构师翁安栋主讲，继续介绍“大数据应用工具”，为会计系学生实战使用大数据布道，传授实战的技艺；本次课程边讲解边实践，由于学科的差异，学生理解起来有些吃力，但仍然认真学习与练习，课堂氛围轻松活跃。

翁安栋解读大数据

本次讲座，翁安栋从大数据采集与爬虫工具、即时查询-黄精眼、数据分析工具-R这3个方面展开介绍。他指出数据采集处于大数据生命周期中第一个环节，它通过RFID射频数据、传感器数据、社交网络数据、移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。

大数据应用架构

同时，翁安栋还介绍了爬虫这种自动获取网页内容的程序，是搜索引擎的重要组成部分，是数据处理的第一个环节。大体上，可以有传统和垂直两种类型，传统的就是google、baidu大搜索爬虫，垂直爬虫比如电商、招聘等行业垂直应用。现场在ONLYOU爬虫系统和百度百聘上进行了爬取，深入浅出、生动形象地向同学们讲解了爬虫系统的操作过程，并让同学们现场进行实际操作。

学生现场操作爬虫系统

在当今大数据时代，数据的价值不言而喻，在这个信息爆炸的年代，互联网上有太多的信息数据，因此利用爬虫系统爬取有价值的数据，是弥补自身先天数据短板的不二选择，它能够极大增强研究人员在大数据环境下的分析能力，但更重要的是研究人员要发挥自身对业务的深入理解，从数据结果中洞察发现有深度的结果，这才是爬虫系统的意义所在。