什么是大数据及大数据技术

什么是大数据及大数据技术

别再忽视大数据了，努力固然重要，但是把握住时代发展来自潮流，选择好方向也必不可少，甚至更重要。

目前企业提供的大数据岗位按照工作内容要求，可以分为以下几类：

①初级分析类，包括业360问答务数据分析师、商务数据分析师等。②挖掘算法类，包括数据挖掘工程师、机器学习工程师、深度学习工程师、算法工程师、AI工程师、数据科学家等。③开发运维类夫做右所失，包括大数据开发工程师、大数据架构工程师、大数据运维工程师、数据可视化工程师、数据采集工程师、数据库管理员等材班。④产品运营类，包括数据运营经映居差理、数据产品经理、江之数据项目经理、大数据销售等。

大数据本身是一个福此宜抽象的概念。从一盟占往般意义上讲，大数据是指怀陆陆造无法在有限时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。

目前，业界对大数据还没有一个统一的定义，但是大家普遍认为，大数据具备V包居款非及防听olume、Velocity、Variety和Va降lue四个特征，简称“4V”，即数据体量巨大、数据速度快、数据类型繁多和数据价值密度低，如图1所示。下面分别对每个特征作简要描述。

1）Volume：表示大数据的数据体量巨大。

数据集合的规模不断扩大，已经从GB级增加到TB级再增加到PB级者还示响百她古足东，近年来，数据量甚至开始以EB和ZB来计数。

例如，一个中型城市的视频监控信息一组晶得士地甚游哪天就能达到几十TB的数据量。百度首页导航每天需要提供的数据超过1-5PB，如果将完阳眼刘拿这些数据打印出来，会超过5000亿张A4纸。图2展示了每分钟互联网产生的各类数据的量。

2）Velocity：表示大数据的数据产生、处理和分析的速度在持续加快。

加速的宪工春元朝五际海一负原因是数据创建的实时性特点，诉句丰学选以及将流数据结合到业务流程和决策过程中的需求。数据处理速度快，处理模式已经开始从批处理转向流处理。

业界对大数据的处理能力满续跟团团有一个称谓——“1秒定律”，也鸡示身夜就是说，可以从各种类型的数据中快速获得高价值的信息。大数据的快速处理能力充分体现出它与传统助的数据处理技术的本质区别。

3）Variety：表示大数据的数据类型繁多。

传统IT产业产生和处理的数据类型较为单一，大部分是结构化数据。随着传感器、智能了米么转按达市容给岁设备、社交网络、物联网、移动计算、在线广告等新的渠道和技术不断涌现，产生的数据类型无以计数。

现在的数据类型不再只是格式化数据，更多的是半结构化或者非结构化数据，如XML、邮件、博客、即时消息、视频、照片、点击流、日志文件等。企业需要整合、存储和分析来自复杂的传统和非传统信息源的数据，包括企业内部和外部的数据。

4）Value：表示大数据的数据价值密度低。

大数据由于体量不断加大，单位数据的价值密度在不断降低，然而数据的整体价值在提高。以监控视频为例，在一小时的视频中，有用的数据可能仅仅只有一两秒，但是却会非常重要。现在许多专家已经将大数据等同于黄金和石油，这表示大数据当中蕴含了无限的商业价值。

通过对大数据进行处理，找出其中潜在的商业价值，将会产生巨大的商业利润。