震惊!不需hadoop环境运行scala和pyspark程序

Databricks官方是这样描述Databricks优点的:html

        像Databricks这样的云平台提供了一套集成的、主机托管的解决方案,消除了企业采用Spark和确保大数据项目成功所面临的这三大障碍。咱们为你提供了全面管理和调优的Spark集群,开发Spark的一群专家在大力支持。咱们的平台为你提供了一种互动式工做区域,以便探查、可视化、合做和发布。若是你已准备好进入生产环境,只要点击一下鼠标便可启动任务。咱们会自动搭建基础设施。python

        另外,咱们还提供了一组丰富的API,以便经过编程访问该平台,这还让用户可以无缝整合第三方应用程序。linux

我们平民玩家想练习scala,pyspark,苦于电脑配置不行,没安装hadoop环境,公司没环境用,等痛点。sql

不要紧,能够免费申请Databricks 空间,而且运行scala代码是不须要*大大×××*的哈。编程

只是注册帐号的时候须要一个gmail邮箱就ok了。微信

注册网址以下ide

https://community.cloud.databricks.com/login.htmloop

image.png

选择社区版。测试

进入后,姓名,公司名 abc随便写写。
大数据

注意:这里有个注册验证码可能须要*大大×××*的哈~

    这个你要是找笔者要,我只能这样回你了 --- :

image.png

帐号搞定后,开始建立scala或者python脚本(pyspark):

Create Notebook:

能够建立scala,python,sql,R 四种notebook 用来运行spark程序。

image.png

如图,很贴心的给了免费集群(6G内存,spark2.4,scala2.11)这样咱们能够方便的在云端体验

spark了。对使用笔记本电脑 和电脑配置低的用户是比较推崇的。

并且在里面建立的notebook 能够导出&&导入, 小伙伴们 遇到语法问题(各类疑难杂症),导出notebook,

微信群请教 笔者 samir 和群主大大均可以哈!

ä½ è¦æ¯å è¿ä¸ªï¼æå¯ä¸å°äºåï¼èä¼å¨å¾è¡¨æåï¼

下面测试2个简单的scala 语句:

1. 经常使用if-else 控制语句

2. scala调用linux 命令wget下载文件,ls,pwd等命令。


image.png1

image.png


打完收工,此次的分享就到这里了。

附上官方操做手册:

https://docs.databricks.com/getting-started/index.html

再贴上我们的 scala& spark 微信群二维码 :


欢迎交流~

相关文章
相关标签/搜索