我用 Rust 重写网站,性能居然提升了 18 倍!

Posted CSDN资讯

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了我用 Rust 重写网站,性能居然提升了 18 倍!相关的知识,希望对你有一定的参考价值。

摘要:对于构建中小型网站和个人博客来说,Hakyll 是一个不错的静态网站生成器库,9 年前的 Jonas Hietala 正是选择了 Hakyll 编写博客网站。但随着时间的推移,网站出现各种问题,考虑多种因素之后,Jonas Hietala 决定用 Rust 重写,看看他是怎么实现吧!

原文链接:https://www.jonashietala.se/blog/2022/08/29/rewriting_my_blog_in_rust_for_fun_and_profit/

声明:本文为 CSDN 翻译,未经授权,禁止转载。


作者 | Jonas Hietala

译者 | 弯月

出品 | CSDN(ID:CSDNnews)

我使用Hakyll编写我的静态网站已经有9年了。在此之前,我使用过Jekyll,还使用过Perl的Mojolicious和php的Kohana编写更动态的页面。

但这些已成为过去,最近我决定使用Rust重新编写我的网站。

需要解决的难题

我想通过这次重写网站,重点解决以下难题:

1.速度越来越慢

在我的笔记本电脑上,重构一次网站需要75秒(不是编译,只是生成网站)。我的网站只有240个帖子,所以我认为不至于如此之慢。虽然我可以使用缓存系统,并在编辑期间通过watch命令查看更新后的帖子,但这个速度仍然是我无法接受的。

2.许多外部依赖项

虽然站点生成器本身是用Haskell编写的,但除了许多Haskell库之外,还有一些依赖项。我的博客助手脚本是用Perl编写的,我使用sassc转换sass,然后利用Python的pygments高亮显示语法,并使用s3cmd将生成的站点上传到S3。

安装所有这些工具并保持最新状态是一件很麻烦的事情。我希望能有一个统一的工具解决所有问题。

3.设置问题

有时,网站会出现一些问题,我必须花时间调试和修复。每当我有一些新的写作思路,却发现网站生成器有问题,就会觉得很沮丧。

你可能会想,什么地方会出问题?

有时,一些软件包的更新可能会破坏网站。例如,

  • GHC更新后,就找不到cabal包了。

  • 在运行Haskell可执行文件时,遇到了以下错误:

[ERROR] Prelude.read: no parse

(只有我的台式机会遇到这个错误,在我的笔记本电脑上运行良好。)

  • 还有如下Perl的错误:

Magic.c: loadable library and perl binaries are mismatched (got handshake key 0xcd00080, needed 0xeb00080)

(只有我的笔记本电脑会遇到这个错误,这我的台式机上运行良好。)

  • 如果Hakyll升级时会修改Pandoc参数,那么就会破坏Atom feed中渲染的代码。

我知道上述问题都可以得到解决,但我只想要一些可以正常工作的东西。

4.Haskell的精神开销

我很喜欢Haskell,尤其是纯函数的部分,而且我非常喜欢Hakyll通过声明式的方法处理站点配置。以生成静态页面(即单独的页面)为例:

match "static/*.markdown" $ do
route   staticRoute
compile $ pandocCompiler streams
>>= loadAndApplyTemplate "templates/static.html" siteCtx
>>= loadAndApplyTemplate "templates/site.html" siteCtx
>>= deIndexUrls

即使你不理解 $ 和 >>=,也可以看懂我们想从static/文件夹中查找文件,然后将它们发送到pandocCompiler(以转换markdown代码)和模板,并删除URL中的index(避免链接以index.html结尾)。

简单明了!

但是我已经很多年没有使用过Haskell了,而且我不想在网站上添加复杂的东西。

例如,我曾想在帖子中添加链接“下一个/上一个”,但后来我不得不花时间重新学习Haskell和Hakyll。即便如此,最后我想到的解决方案还是超级慢,因为我采用了一个线性搜索来查找下一个/上一个帖子,但我未能搞清楚如何正确地利用Hakyll实现这个链接。

我相信你有更好的方法,但对我来说,这样的小功能不值得付出这么大的努力。

为什么选择Rust?

1.我很喜欢Rust,而且它很适合业余项目

2.Rust非常高效,非常擅长转换文本。

3.Cargo很流行,只要安装了Rust,运行cargo build,就可以构建网站

为什么要重新发明轮子?

我想编写一个静态站点生成器,这是一个非常有趣的项目,难度应该不大,但可以让我全权控制网站,而且灵活性完胜我使用过的所有网站生成器。

实现细节

我不打算在此介绍所有的细节,如果你感兴趣,请查看源代码(地址:https://github.com/treeman/jonashietala)。

利用现有的库处理难度较大的工作

起初我很担心重新实现我喜欢的Hakyll功能的难度会太大,例如模板引擎、多种语言的语法高亮显示,以及通过watch命令自动重新生成编辑过的页面并充当文件服务器,这样我就可以在写作的过程中随时在浏览器中查看帖子。

事实证明,我可以利用现有的库处理一些难度较大的工作。以下是我使用的一些效果很好的库:

  • tera:模板引擎。

它比Hakyll更强大,甚至可以执行循环之类的操作:

<div class="post-footer">
<nav class="tag-links">
Posted in % for tag in tags %% if loop.index0 > 0 %, % endif %<a href=" tag.href "> tag.name </a>% endfor %.
</nav>
</div>
  • pulldown-cmark:解析Markdown。

这个库非常适合CommonMark(Markdown标准的语法规范)。

虽然速度很快,但支持的功能不如Pandoc多,所以我不得不做一些扩展。

  • syntect:语法高亮显示,支持Sublime Text的语法。

  • yaml-front-matter:解析帖子中的元数据。

  • grass:Rust中的Sass编译器。

  • axum:创建本地托管站点的静态文件服务器。

  • hotwatch:监视文件变更,在文件更新时更新页面。

  • scraper:解析生成的HTML。我的一些测试和特定的转换中用到了这个库。

  • rust-s3:将生成的站点上传到 S3 存储。

即便使用了这些库,Rust源代码本身也超过了6000行。在有些情况下,Rust代码可能会很冗长,我的代码确实不够漂亮,但是最后的代码量仍然超过了预期。

Markdown转换

如果我的帖子都采用标准的markdown,这个转换过程会更加容易,但多年来我添加了很多pulldown-cmark不支持的功能和扩展。所以,我不得不自己编写代码。

预处理

我有一个预处理步骤,利用多个图像来生成插图。这是一个通用的处理步骤,形式如下:

::: <type>
<content>
:::

我使用这个预处理来生成各种图像集合,例如Flex、Figure和Gallery。下面是一个例子:

::: Flex
/images/img1.png
/images/img2.png
/images/img3.png
Figcaption goes here
:::

需要转换成:

<figure class="flex-33">
<img src="/images/img1.png" />
<img src="/images/img2.png" />
<img src="/images/img3.png" />
<figcaption>Figcaption goes here</figcaption>
</figure>

那么,我该如何实现呢?当然是使用正则表达式。

use lazy_static::lazy_static;
use regex::Captures, Regex;
use std::borrow::Cow;
lazy_static! 
static ref BLOCK: Regex = Regex::new(
r#"(?xsm)
^
# Opening :::
:3
\\s+
# Parsing id type
(?P<id>\\w+)
\\s*
$
# Content inside
(?P<content>.+?)
# Ending :::
^:::$
"#
)
.unwrap();

pub fn parse_fenced_blocks(s: &str) -> Cow<str> 
BLOCK.replace_all(s, |caps: &Captures| -> String 
parse_block(
caps.name("id").unwrap().as_str(),
caps.name("content").unwrap().as_str(),
)
)

fn parse_block(id: &str, content: &str) -> String 
...

(实际的图像解析会更加繁琐,不在此赘述。)

扩展pulldown-cmark

此外,我还扩展了pulldown-cmark:

// Issue a warning during the build process if any markdown link is broken.
let transformed = Parser::new_with_broken_link_callback(s, Options::all(), Some(&mut cb));
// Demote headers (eg h1 -> h2), give them an "id" and an "a" tag.
let transformed = TransformHeaders::new(transformed);
// Convert standalone images to figures.
let transformed = AutoFigures::new(transformed);
// Embed raw youtube links using iframes.
let transformed = EmbedYoutube::new(transformed);
// Syntax highlighting.
let transformed = CodeBlockSyntaxHighlight::new(transformed);
let transformed = InlineCodeSyntaxHighlight::new(transformed);
// Parse ` :attr ` attributes for blockquotes, to generate asides for instance.
let transformed = QuoteAttrs::new(transformed);
// parse ` .class ` attributes for tables, to allow styling for tables.
let transformed = TableAttrs::new(transformed);

以前我喜欢降低标题等级,并嵌入原始YouTube链接,而且实现起来很简单(不过,在处理前后的步骤中嵌入YouTube链接可能会更好)。

Pandoc支持向任意元素添加属性和类,例如:

![](/images/img1.png) height=100 

可以转换成:

<figure>
<img src="/images/img1.png" height="100">
</figure>

这种用法在我的代码中比比皆是,所以我决定重新实现。

我在Pandoc中使用的功能还有一个不受支持:在HTML标签内计算markdown。比如下面这段代码就无法正确呈现:

<aside>
My [link][link_ref]
</aside>

起初我的计划是,在通用预处理中实现,但后来发现这样做会丢失链接引用。比如下面这个例子:

::: Aside
My [link][link_ref]
:::
[link_ref]: /some/path

link不会变成链接,因为我们只会在 ::: 内解析。

> Some text
 :notice 

这段代码会调用notice解析器,在这个示例中,它将创建一个<aside>标记(而不是 <blockquote>标记),同时保留已解析的markdown。

虽然现有的crate使用syntect高亮显示代码,但我自己编写了一个crate,可以将它包装在<code>标记中,并支持内联代码高亮显示。例如:

Inside row: `let x = 2;`rust

可以转换成:

Inside row: let x = 2;

性能提升

我没有在提高性能上花费太多时间,但以下两方面的改动对性能产生了很大影响:

第一,如果使用syntect,并且使用自定义的语法,则应该将SyntaxSet压缩为二进制格式。

第二,使用rayon并行化渲染。渲染是解析Markdown、应用模板以及创建输出文件的过程。rayon非常适合该任务,因为这项任务的瓶颈是CPU,而且rayon非常易于使用(如果代码结构正确)。例如,下面是一个简化的渲染:

fn render(&self) -> Result<()> 
let mut items = Vec::new();
// Add posts, archives, and all other files that should be generated here.
for post in &self.content.posts 
items.push(post.as_ref());

// Render all items.
items
.iter()
.try_for_each(|item| self.render_item(*item))

如果想并行化上述处理,我们只需要将iter()改为par_iter():

use rayon::iter::IntoParallelRefIterator, ParallelIterator;
items
.par_iter() // This line
.try_for_each(|item| self.render_item(*item))

只需要修改这一个地方!

诚然,性能上的提升非常小,几处巨大的性能提升都来自我使用的库。例如,我的旧网站使用了一个用Python编写的外部pygments来高亮显示语法,而现在我使用了Rust的高亮显示,它的速度要快得多,并且很容易并行化。

完整性检查

以前,我的网站给我的最大困扰是,太容易出错了。例如,链接到不存在的页面或图像,忘记定义链接引用,或者忘记在发布之前更新链接。

因此,除了测试watch命令之类的基本功能之外,我还需要解析整个站点,并检查所有内部链接是否存在以及是否正确。此外,我还需要手动检查外部链接。

最终的结果

我在本文开头提到了一些难题,下面我们来看看我是否解决了这些难题。

1. 性能

如今在我的笔记本电脑上,重建完整的站点需要4秒(不包括编译时间)。18倍的性能提升看起来不错嘛。我相信,网站的性能还有进一步提升的空间,例如使用rayon处理文件I/O,使用异步处理,而且我没有缓存系统,所以每次构建都会重新生成所有文件。

请注意,这并不是说Rust的速度远超Haskell,这不过是两种实现的比较。我相信有人能够使用Haskell编写出更快的实现。

2. 单一依赖

现在网站的一切都是用Rust编写的,不需要安装外部脚本或工具。

3. Cargo正常工作

只要系统安装了Rust,cargo build就可以正常工作。我认为这是Rust最大的优势之一:构建系统可以正常工作。

你不必手动寻找丢失的依赖项,为了实现跨平台而苦恼,或者在构建系统自动拉取更新时破坏一切。你只需要静静等待代码编译完成。

4. Rust减轻了我的负担

虽然我找到了更简单的方法来实现上一个/下一个链接,但我并不认为这意味着Rust比Haskell更简单或更容易,这只是意味着Rust对我个人来说更容易理解。

最大的原因还是要归结为实践。最近我一直在使用Rust,但对于Haskell,我只在大约十年前构建这个网站时学习过一段时间,之后再也没有接触过。

我敢肯定,如果停止使用Rust,过个十年再次接触,我也会遇到很多困难。

总的来说,我很满意这次重写网站的结果。这是一个有趣的项目,尽管工作量超出了我的预期,但的确解决了我的一些烦恼。

— 推荐阅读 —

以上是关于我用 Rust 重写网站,性能居然提升了 18 倍!的主要内容,如果未能解决你的问题,请参考以下文章

太厉害了!我用 Nginx 提升系统10倍性能

性能提升 25 倍:Rust 有望取代 C 和 C++,成为机器学习首选 Python 后端

从Node转向Go,性能提升5倍,内存减少40%

getrandom() 将在新内核中得到80倍以上的性能提升

getrandom() 将在新内核中得到80倍以上的性能提升

基于lua将公司系统的性能提升了100倍