大数据学习资源整理

github地址 后面继续更新在github

• utils4s
  • scala语法学习
  • common库
  • BigData库
    • Spark
      • Spark core
      • Spark Streaming
      • Spark SQL
      • Spark 机器学习
      • Spark 其它
    • ES
  • 贡献代码步骤
  • 贡献者

utils4s包含各类scala通用、好玩的工具库demo和使用文档，经过简单的代码演示和操做文档，各类库信手拈来。

同时欢迎你们贡献各类好玩的、常用的工具库。

开源中国地址

QQ交流群 432290475

微博：jacksu_

<h2 id="id2">scala语法学习</h2>

说明：scala语法学习过程当中，用例代码都放在scala-demo模块下。

快学scala电子书(推荐入门级书)

scala理解的比较深

scala99问题

scala初学者指南(这可不是初学者能够理解的欧，仍是写过一些程序后再看)

scala初学者指南英文版

scala学习用例

<h2 id="id21">common库</h2>

日志操做（log4s）

单元测试（scalatest）

日期操做（lama）（注:只支持日期操做，不支持时间操做）

日期时间操做（nscala-time）（注：没有每个月多少天，每个月最后一天，以及每一年多少天）

json解析（json4s）

resources下文件加载用例

文件操做（better-files）

单位换算（squants）

线性代数和向量计算(breeze)

分布式并行实现库akka(akka)

Twitter工具库（twitter util）

平常脚本工具

<h2 id="id22">BigData库</h2>

<h3 id="id221">Spark</h3>

<h4 id="id2211">Spark core</h4> [一个不错的spark学习互动课程](http://www.hubwiz.com/class/5449c691e564e50960f1b7a9)

spark 设计与实现

<h4 id="id2212">Spark Streaming</h4>

Spark Streaming使用Kafka保证数据零丢失

spark streaming测试用例

spark streaming源码解析

基于spark streaming的聚合分析(Sparkta)

<h4 id="id2213">Spark SQL</h4>

spark DataFrame测试用例

Hive Json加载

SparkSQL架构设计和代码分析

<h4 id="id2213">Spark 机器学习</h4>

spark机器学习源码解析

KeyStoneML KeystoneML is a software framework, written in Scala, from the UC Berkeley AMPLab designed to simplify the construction of large scale, end-to-end, machine learning pipelines with Apache Spark.

spark TS

<h4 id="id2214">Spark 其它</h4>

databricks spark知识库

spark学习知识总结

Spark library for doing exploratory data analysis in a scalable way

图处理(cassovary)

基于spark进行地理位置分析(gagellan)

<h3 id="id222">ES</h3>

ES 非阻塞scala客户端

<h2 id="id23">贡献代码步骤</h2> 1. 首先 fork 个人项目 2. 把 fork 过去的项目也就是你的项目 clone 到你的本地 3. 运行 git remote add jacksu git@github.com:jacksu/utils4s.git 把个人库添加为远端库 4. 运行 git pull jacksu master 拉取并合并到本地 5. coding 6. commit后push到本身的库( git push origin master ) 7. 登录Github在你首页能够看到一个 pull request 按钮,点击它,填写一些说明信息,而后提交便可。 1~3是初始化操做,执行一次便可。在coding前必须执行第4步同步个人库(这样避免冲突),而后执行5~7既可。