微软发布 .NET for Apache Spark 性能碾压Python、Scala和Java

Posted 2023-04-25

参考技术A

上图显示了针对Apache Spark与Python和Scala的.NET的每个查询性能。.NET for Apache Spark在Python和Scala上运行良好。此外，在UDF性能至关重要的情况下，例如查询1，其中在JVM和CLR .NET之间传递3B行非字符串数据，Apache Spark比Python快2倍。

同样重要的是要说这是我们为Apache Spark首次推出的.NET，我们的目标是进一步投资改进和基准性能（例如Arrow优化）。您可以按照我们的说明在我们的GitHub仓库上对此进行基准测试。

.NET for Apache Spark是将.NET打造成构建大数据应用程序的重要技术堆栈的第一步。近期规划路线

开源地址：https://github.com/dotnet/spark

微软开源C#编译器

4月3日，微软向公众发布了Roslyn编译器项目，该项目采用了Apache开源许可协议。C#的创始人Anders Hejlsberg在Build大会的第二场主题演讲中将这一令人震惊的消息公之于众。微软向Roslyn项目投入了大量人力物力，从头重写了C#和VB.NET的编译器，同时向开发人员开放了编译过程，以便他们提供更好的工具和编辑器支持。

如今整个项目都发布在CodePlex上，无论是在Windows下，还是在其它平台下，任何开发人员都可以免费获得。如果机器安装了Git，还可以通过一次clone操作直接获得整个项目。

如果只想尝试一下Roslyn，可以到Connect站点上下载预览版。如果想更深入地了解源代码，并在自己的环境中编译源代码，以满足自己测试和实验的需要，则需安装Visual Studio 2013专业版（或更高版本）、Visual Studio 2013 SDK、Visual Studio 2013 Update 2 RC，以及.NET编译器平台最终用户预览版（.NET Compiler Platform (Roslyn) End User Preview）。

Roslyn主页上的“项目路线图（roadmap）”页面中罗列了很多正在开发的功能，绝大部分都是一些特性添加和质量提升。“项目状态”页面则主要显示了C#和VB新功能开发的最新状态。

这次发布的作为.NET基础的核心技术，标志着微软在思想上的重大变化。尽管CLR不开源，但是能看到编译器，也能为各个平台的开发者带来好处。（例如，Mono的CLR允许Roslyn生成的代码在非微软平台上运行）。

***********************************

本文来自InfoQ微信公众账号：infoqchina

1、回复“今日新闻”，查看今天更新的新闻；

2、回复“今日英文”，查看今天英文站的更新；

3、回复“文章 +关键词”，搜索关键词相关内容；

4、回复“QCon”，了解QCon大会相关信息；

5、回复“活动”，了解最近InfoQ组织的线下沙龙；

7、回复“投稿”，了解投稿和加入编辑团队的流程。

***********************************