您好,欢迎来到站长目录(28sn.com)!


闲聊大数据云服务

来源:网络整理 浏览:208次 时间:2022-06-30

新年第一篇,聊聊大数据云服务,本篇先聊聊云服务的价值和趋势,不涉及很深入的技术,后面慢慢展开。

不少同学找我咨询Hadoop/Spark集群等设置问题,Hadoop/spark这些基础组件门槛还是比较高,集群安装,配置都算个技术活,是每个初入门同学的必修课。传统的企业版本发行商,如cloudera,提供一个高级的cloudera manager,简化了一部分的工作,但是终极解决这些问题的还是依赖云服务。最典型的就是AWS EMR服务,Amazon EMR 提供的托管 Hadoop 框架可以让您快速轻松、经济高效地在多个动态可扩展的 Amazon EC2 实例之间处理大量数据。

云服务最核心的两个优势:

1)易用

EMR将节点预置,集群设置,Hadoop配置和集群优化这些事情通过云服务的方式隐藏,极大的简化操作步骤和降低了技术人员的门槛。

2)弹性

使用者可以根据需要申请所需要的资源,您可以预置一个、数百个或者甚至数千个计算实例来处理任何规模的数据。您可以手动或使用 Auto Scaling 轻松增加或减少实例的数量,并且按实际用量付费。

可能还有很多观望者提出云服务是否存在安全等问题,但是大家看看业界,实云服务对AWS来说,一年是100亿美金的生意。微软也全面向云转型,股票又重回5000亿美金高峰。再质疑已经没有必要,勇敢尝试才是应该抓紧的。

再来聊聊云服务的标杆厂商AWS的云服务情况。

AWS 几乎是十年前推出的EMR服务,当前这个服务每年大概有1亿美金的收入,大概也就是60人的团队,上来规模,云服务就是一本万利的生意。当前AWS的服务基本覆盖了数据处理的全生命周期,一共有9个服务,如下如所示:

其中Athena和Glue 以及智能服务都是在2016年 re:Invent推出的新服务。

其中Athena的主要是基于开源软件presto做的SQL on S3,主要解决的场景是在S3上提供交互式的SQL接口。GLUE是在pipeline服务的基础上做的ETL服务,提供一定的元数据自动化的能力。可以看出Athena和GLUE都是增值服务,AWS是在积累到一定阶段,进入了一个新的阶段。

2016年可以看着是AI的元年,AWS也是顺应潮流推出了多款语音,文字翻译,对话机器人等服务。这类服务处在一个发展的初期,一些具体的使用场景效果不错,例如这次在CES火了一把的Alexa最早用在aws的 echo 智能设备上,云上也有对应的服务叫lex,相信智能这类服务不用太久就会广泛被用起来。

好了,篇幅有限,更多详情且待下回分解。最后祝愿大家新的一年顺顺利利,健健康康。

推荐站点

  • 我爱发烧音乐我爱发烧音乐

    我爱发烧音乐囊括了从流行音乐到古典音乐多个类型的音乐作品,专栏推荐最新的音乐,提供音乐排名榜单!可供免费线上收听音乐,歌曲流畅,音效极佳! 网站提供的钢琴以及二胡专栏,可供收听者,陶冶情操,改善心情,是难得的轻音乐典藏!

    www.520fs.com
  • 世纪音乐网世纪音乐网

    世纪音乐网是专业的在线音乐试听MP3下载网站。歌曲总计30余万首,收录了网上最新歌曲和流行音乐,DJ舞曲,非主流音乐,经典老歌,劲舞团歌曲,搞笑歌曲,儿童歌曲,英文歌曲等。是您上网听歌的最佳网站。

    www.ssjj.com
  • 杭州网杭州网

      杭州网是杭州地区唯一的新闻门户网站,由中共杭州市委宣传部、杭州日报报业集团和杭州广播电视集团共同组建的杭州网络传媒有限公司运营。

    www.hangzhou.com.cn
  • 深圳在线深圳在线

      深圳在线 www.szol.net是深圳本地最大、最早的地方生活资讯网站之一,网站名“深圳在线www.szol.net”由南方报业传媒集团编辑委员会总编辑、南方日报社总编辑、南方都市报总编辑、南方书画院名誉院长王春芙亲笔题名,深圳在线www.szol.net团队与深圳热线www.szonline.net、奥一网www.oeeee.com都源于全国最早成立于1996年的知名网络公司——深圳万用网。

    www.szol.net
  • 今题网今题网

     今题网- 中国领先的社区服务网,提供社区服务, 在线交友和商家推广服务,于2004年创建上线,公司现有员工超过百名。今题网自成立以来,凭借其独特的定位和丰富的社区交友功能, 凭借其团队超强的搜索引擎优化技术吸引超过千万的用户成为今题网的注册会员。

    www.jinti.com

鄂公网安备 42062502000001号