数据被誉为新时代的石油，随着大数据市场的发展，数据开始流通，越来越多人也开始挖掘数据的价值。本文尽可能全面地介绍国内的数据源、搜索数据的方法以及数据交易的平台，帮助数据工作者们快速全面地找数据。文中涉及的数据交易方式包括API数据接口、数据包下载、数据定制等，涵盖免费的公开源数据以及付费数据。以下是小编为你整理的大数据初级学习方法
统计数据
*统计局/*数据
最正统、最官方的数据，数据范围涵盖各行各业，时间跨度也较大，可下载为各种常见格式
*网站通常有统计数据，但不同*数据量有多有少，目前为止数据并不算深入，但随着数据开放政策的深入，相信*网站会成为很好的数据源
*列表可以在**网找，下文中的各行业数据都可以在相关的*网站找到数据，就不一一列举了
数据需要申请或购买，公开的并不多，但不失为一个选择
咨询、金融、市场调研公司，尤其是业内顶尖的，通常有自己的数据，但同样并不免费公开，部分数据可购买
大部分主要行业都有自己的年鉴，数据比较宝贵，只是给机器用之前还需要处理;价值高的年鉴通常需要付费获取;这里推荐一下人大经济论坛，氛围较好
如何统计数据
公开信息及整理比如统计局的数据、公司自己发布的年报、其他市场机构的研究报告、或者根据公开的零散信息整理;
购买的数据库市场上有很多产品化的数据库，比如Bloomberg、OneSource、Wind等等，这个一般是以公司的名义买入口，不光咨询公司还有很多高等院校及研究机构也买了;
自己的数据库自己维护的数据库有，但是比较少，一是专业的数据公司差不多能想到的都做了，二是自己做数据库其实是一件很麻烦的事情。在有些数据是外界无法得到的情况下有可能自己维护一个小型的数据库;
咨询行业专家当然是有偿的，这个在项目中应该蛮常见的。有些行业专家会专门收集和销售数据，想要的基本能买到。
发问卷有时候为了单独的项目也会收集很特别的数据，如果外界实在没有但是项目上没有不行就只有自己做了，比如自己发发问卷之类的，但是这类数据需求要控制工作量，因为除非数据本身是交付内容之一，要不然不能为了个中间件花费太多时间和精力;
客户有些数据就是来源于客户，甚至是咨询公司的产品。举个例子，比如HR咨询公司的行业工资数据、四大的一些数据库等等，这些数据的采集需要比较强的专业性或者时间积累，很大一部分是通过调查客户的HR收集来的数据进行统计的。
HBase集群及其管理
1、集群的搭建过程 2、集群的监控 3、集群的管理
Pig基础知识
Pig是进行Hadoop计算的另一种框架，是一个高级过程语言，适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询，Pig 可以简化 Hadoop 的使用。
1、Pig概述 2、安装Pig 3、使用Pig完成手机流量统计业务
Hive
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用。
1、数据仓库基础知识 2、Hive定义 3、Hive体系结构简介 4、Hive集群 5、客户端简介 6、HiveQL定义 7、HiveQL与SQL的比较 8、数据类型 9、表与表分区概念 10、表的操作与CLI客户端 11、数据导入与CLI客户端 12、查询数据与CLI客户端 13、数据的连接与CLI客户端 14、用户自定义函数(UDF)
Scala
Scala是另一种基于Java的语言，并且和Java相同的是，它正日益成为大规模机器学习，或构建高层次算法的工具。它富有表现力，并且还能够构建健壮的系统。
“Java就像是建造时的钢铁，而Scala则像黏土，因为你之后可以将之放入窑内转变成钢铁，”Driscoll说。
大数据的价值
大数据(bigdata,megadata)或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity(真实性)。
大数据的4个“V”，或者说特点有四层面：*，数据体量巨大，从TB级别，跃升到PB级别。第二，数据类型繁多，前文提到的网络日志、视频、图片、地理位置信息等等。
第三，价值密度低，以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。
第四，处理速度快，1秒定律。*这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume，Variety，Value，Velocity。
大数据的价值体现在以下几个方面：1、对大量消费者提供产品或服务的企业可以利用大数据进行精准营销。2、做小而美模式的中长尾企业可以利用大数据做服务转型。3、面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。
