什么叫大数据?
原创

什么叫大数据?

好文
试试语音读文章

热门回答:

本人工作岗位是大数据咨询顾问。从事大数据行业多年。IT行业十年经验。

大数据是一个统称。是相对于小数据而说的。比如以前采用ORACLE SQL MYSQL 数据库存储的数据基本是几十G到几百G。而且大多以结构化的数据为主。但现在随着互联网的爆发。数据量越来越大(从GB、TB、PB、ZB)。类型越来越多(结构化传统数据库的数据、半结构化网页、文件、邮件。非结构化的视频、图片、音频)。所以原来的数据库技术已经无法满足需求了。所以才有了大数据。

大数据几个关键的技术如下:

1.存储能力。大数据平台可支持结构化(常规数据库存放的规范化数据)、半结构化(文档、网页、邮件)、非结构化的数据存储(视频、图片、音频) 。并且可以支持分布式存储。可以很方便的扩展。成本也很低。

2.计算能力。可以支持大批量离线计算(PB级、亿级大量数据)和实时计算(低延迟毫秒急出结果)。

3.AI能力。支持多种算法。机器学习、神经网络等算法。可开发很多人工智能应用。

4.为什么需要大数据平台。因为传统的ORACLE SQL数据库对非结构化数据处理不好。并且不支持分布式存储和计算。对单机的性能要求很高。导致成本很高。所以需要大数据平台。

其他观点:

本人工作岗位是大数据咨询顾问。从事大数据行业多年。IT行业十年经验。

大数据是一个统称。是相对于小数据而说的。比如以前采用ORACLE SQL MYSQL 数据库存储的数据基本是几十G到几百G。而且大多以结构化的数据为主。但现在随着互联网的爆发。数据量越来越大(从GB、TB、PB、ZB)。类型越来越多(结构化传统数据库的数据、半结构化网页、文件、邮件。非结构化的视频、图片、音频)。所以原来的数据库技术已经无法满足需求了。所以才有了大数据。

其他观点:

大数据技术是相对于传统数据库和其应用技术而言的。

伴随移动互联网时代和工业物联网时代的快速发展。每时每刻企业、城市、社会都产生大量数据。比如资源卫星影像数据、地震钻探测井数据、气象预报数据、安全视频监控数据、森林火灾检测与实时报警数据、海洋污染环实时境监测数据、自动驾驶的实时分析决策判断。等等。这些数据不仅仅采集量极其大。而且分析决策判断系统需要智能化、实时化。且结果必然可靠精确。依靠传统的技术人员手工处理和分析决策是无法想象的。也是不可能的。

因此。除升级更新传统的关系型数据库技术外。必须使用创新技术来实时地、可靠地对这些非关系型海量数据进行数据存储、处理、分析、决策。这就是大数据技术。

实践中。由于大数据具有数据量大、数据类型丰富复杂、数据增长速度快等特点。想要学好大数据那就要学好一系列的大数据生态圈技术组件。以及贯穿整个数据分析流程的分析方法和思维。只有明确了数据分析场景与流程。才能够确定需要整合哪些组件来解决这一问题。

总体而言。大数据技术涵盖大数据平台和人工智能两个方面。比如 Hadoop、OpenStack 云平台、MindSpore AI建模、R & Python 等等。

当然。大数据技术不包括相关的大数据采集平台和技术。比如说卫星、无人机、各种 IoT 感应器、地质石油勘探、手机、汽车… 此外。大数据技术中也不包括相关的平台构架、数据安全、维护等等。这些均属于 IT 技术范畴 …

总之。大数据技牵扯到社会管理和人们生活的方方面面。可以说涉及到各个行业和企业。是数据工程师、数据科学家的“核心”必备技能。也是工程师、科学家、经济学家等等必要的“基本”技能。包括自身行业企业相关实践的AI建模、BI数据分析。R 和 Python 编程。

(开源技术是构建大数据平台的基础)

(基于开源技术的BI和大数据分析平台)

(华为沃土数字平台、应用生态示意图)

您还感兴趣的文章推荐

以上就是由互联网推广工程师 网创网 整理编辑的,如果觉得有帮助欢迎收藏转发~

分享到 :
相关推荐

发表评论

您的电子邮箱地址不会被公开。

评论(2)

  • 陌上柳絮倾城雪 永久VIP 2022年12月27日 14:13:50

    数据,结构化,技术,平台,数据库,实时,传统,互联网,行业,是一个

  • 寄心梦 永久VIP 2022年12月27日 14:13:50

    没想到大家都对什么叫大数据?感兴趣,不过这这篇解答确实也是太好了

  • 小新卖蜡笔 永久VIP 2022年12月27日 14:13:50

    本人工作岗位是大数据咨询顾问。从事大数据行业多年。IT行业十年经验。大数据是一个统称。是相对于小数据而说的。比如以前采