热门回答:
本人工作岗位是大数据咨询顾问。从事大数据行业多年。IT行业十年经验。
大数据是一个统称。是相对于小数据而说的。比如以前采用ORACLE SQL MYSQL 数据库存储的数据基本是几十G到几百G。而且大多以结构化的数据为主。但现在随着互联网的爆发。数据量越来越大(从GB、TB、PB、ZB)。类型越来越多(结构化传统数据库的数据、半结构化网页、文件、邮件。非结构化的视频、图片、音频)。所以原来的数据库技术已经无法满足需求了。所以才有了大数据。
大数据几个关键的技术如下:
1.存储能力。大数据平台可支持结构化(常规数据库存放的规范化数据)、半结构化(文档、网页、邮件)、非结构化的数据存储(视频、图片、音频) 。并且可以支持分布式存储。可以很方便的扩展。成本也很低。
2.计算能力。可以支持大批量离线计算(PB级、亿级大量数据)和实时计算(低延迟毫秒急出结果)。
3.AI能力。支持多种算法。机器学习、神经网络等算法。可开发很多人工智能应用。
4.为什么需要大数据平台。因为传统的ORACLE SQL数据库对非结构化数据处理不好。并且不支持分布式存储和计算。对单机的性能要求很高。导致成本很高。所以需要大数据平台。
其他观点:
本人工作岗位是大数据咨询顾问。从事大数据行业多年。IT行业十年经验。
大数据是一个统称。是相对于小数据而说的。比如以前采用ORACLE SQL MYSQL 数据库存储的数据基本是几十G到几百G。而且大多以结构化的数据为主。但现在随着互联网的爆发。数据量越来越大(从GB、TB、PB、ZB)。类型越来越多(结构化传统数据库的数据、半结构化网页、文件、邮件。非结构化的视频、图片、音频)。所以原来的数据库技术已经无法满足需求了。所以才有了大数据。
其他观点:
大数据技术是相对于传统数据库和其应用技术而言的。
伴随移动互联网时代和工业物联网时代的快速发展。每时每刻企业、城市、社会都产生大量数据。比如资源卫星影像数据、地震钻探测井数据、气象预报数据、安全视频监控数据、森林火灾检测与实时报警数据、海洋污染环实时境监测数据、自动驾驶的实时分析决策判断。等等。这些数据不仅仅采集量极其大。而且分析决策判断系统需要智能化、实时化。且结果必然可靠精确。依靠传统的技术人员手工处理和分析决策是无法想象的。也是不可能的。
因此。除升级更新传统的关系型数据库技术外。必须使用创新技术来实时地、可靠地对这些非关系型海量数据进行数据存储、处理、分析、决策。这就是大数据技术。
实践中。由于大数据具有数据量大、数据类型丰富复杂、数据增长速度快等特点。想要学好大数据那就要学好一系列的大数据生态圈技术组件。以及贯穿整个数据分析流程的分析方法和思维。只有明确了数据分析场景与流程。才能够确定需要整合哪些组件来解决这一问题。
总体而言。大数据技术涵盖大数据平台和人工智能两个方面。比如 Hadoop、OpenStack 云平台、MindSpore AI建模、R & Python 等等。
当然。大数据技术不包括相关的大数据采集平台和技术。比如说卫星、无人机、各种 IoT 感应器、地质石油勘探、手机、汽车… 此外。大数据技术中也不包括相关的平台构架、数据安全、维护等等。这些均属于 IT 技术范畴 …
总之。大数据技牵扯到社会管理和人们生活的方方面面。可以说涉及到各个行业和企业。是数据工程师、数据科学家的“核心”必备技能。也是工程师、科学家、经济学家等等必要的“基本”技能。包括自身行业企业相关实践的AI建模、BI数据分析。R 和 Python 编程。
(开源技术是构建大数据平台的基础)
(基于开源技术的BI和大数据分析平台)
(华为沃土数字平台、应用生态示意图)
您还感兴趣的文章推荐- 准备与好友合伙做生意,开什么店合适?
- 想开个店,开什么好呢?资金不多,刚刚创业。谢谢?
- 有什么行业适用于初创业?
- 刚入社会的人想开店,最好开一家什么店?
- 我是一个创业小白,想要开一家店铺,大家有什么好的推荐吗?
以上就是由互联网推广工程师 网创网 整理编辑的,如果觉得有帮助欢迎收藏转发~
本文地址:https://www.wangchuang8.com/165480.html,转载请说明来源于:网创推广网
声明:本站部分文章来自网络,如无特殊说明或标注,均为本站原创发布。如若本站内容侵犯了原著者的合法权益,可联系进行处理。分享目的仅供大家学习与参考,不代表本站立场。
评论(2)
数据,结构化,技术,平台,数据库,实时,传统,互联网,行业,是一个
没想到大家都对什么叫大数据?感兴趣,不过这这篇解答确实也是太好了
本人工作岗位是大数据咨询顾问。从事大数据行业多年。IT行业十年经验。大数据是一个统称。是相对于小数据而说的。比如以前采