分享一个.NET平台开源免费跨平台的大数据分析框架.NET for Apache Spark

咱们都知道Spark是一种流行的开源分布式处理引擎，适用于大型数据集(一般是TB级别)的分析。Spark可用于处理批量数据，实时流，机器学习和即时查询。处理任务分布在一个节点集群上，数据被缓存在内存中，以减小计算时间。到目前为止，Spark已经能够经过Scala，Java，Python和R访问，却不能经过.NET进行访问。

而.NET for Apache Spark就是旨在使.NET开发人员能够跨全部Spark API访问Apache®Spark™。

.NET for Apache Spark为C#和F#提供了高性能的API来操做Spark。使用这个.NET API，您能够访问Apache Spark的全部功能，包括SparkSQL、DataFrames、流、MLLib等等。.NET for Apache Spark容许您重用做为.NET开发人员已经拥有的全部知识、技能、代码和库。

C#/F#语言绑定到Spark将被写入一个新的Spark交互层，这提供了更容易的扩展性。这一新的Spark交互层的编写考虑了语言扩展的最佳实践，并针对交互和性能进行了优化。长期来看，这种扩展性能够用于在Spark中添加对其余语言的支持。

具体请查看GitHub：https://github.com/dotnet/spark

 

定时分享DotNet Core 相关知识！