Databricks 第10篇：Job

你们知道，用户能够在Notebook UI中以交互方式运行Notebook中的SQL、Python等代码，交互方式便于数据的调查和分析。用户还能够经过Job来自动维护数据，Job是当即运行或按计划运行notebook（或JAR）的一种方法，经过Job能够定时执行数据的清理和整合，用户只须要设置好计划（schedule），就能够自动实现数据的维护。

用户也能够经过Databricks UI来监控Job的运行结果，或者发送email alert，一旦Job运行失败或成功，用户会收到包含Job运行结果的邮件。

Databricks限制一个工做区：

• 最多只能同时运行1000个Job，并发度是1000；
• 在一个小时内，最多能够建立5000个Job（包括“当即运行”和“运行提交”）

一，使用UI来建立Job

点击“Jobs”图标，进入到Jobs页面，点击下面的“Create Job”按钮来建立Job：

输入Job的Title，并选择Job执行的Task。

设置Job的属性：

• 设置Task，能够选择 Notebook、 Set JAR、Configure spark-submit，一般选择Notebook。
• 设置Cluster：设置Job运行时使用的Cluster
• 设置Schedule：设置计划定时执行Job

二，当即运行Job

若要当即运行做业，请在“Active runs”列表中单击“Run Now”:

三，查看Job运行结果

能够经过导出做业运行的结果来持久保存做业运行。 对于笔记本做业运行，能够先导出呈现的笔记本，稍后再将其导入到 Databricks 工做区中。

1，在做业详细信息页中，单击“运行”列中的做业运行名称。

 2，单击“导出到 HTML”。

 

四，控制对Job的访问

Job的全部者和管理员能够经过"Job Access Control"控制权限。使用做业访问控制，做业全部者能够选择容许哪些其余用户或组查看做业的结果。 全部者还能够选择容许谁管理其做业的运行（即，调用“当即运行”，而后单击“取消”）。

Step1，跳转到Job的详细信息页面，点击“Advanced”连接

 Step2，点击Permissions后面的“Edit”连接

Step3，在弹出对话框中，经过用户名旁边的下拉菜单分配做业权限。

 

 

 

参考文档：

Databricks Jobs