一.实现思路
本文讲解如何使用python实现一个简单的模板引擎, 支持传入变量, 使用if判断和for循环语句, 最终能达到下面这样的效果:
渲染前的文本: <h1>{{title}}</h1> <p>十以内的奇数:</p> <ul> {% for i in range(10) %} {% if i%2==1 %} <li>{{i}}</li> {% end %} {% end %} </ul> 渲染后的文本,假设title="高等数学": <h1>高等数学</h1> <p>十以内的奇数:</p> <ul> <li>1</li> <li>3</li> <li>5</li> <li>7</li> <li>9</li> </ul>
要实现这样的效果, 第一步就应该将文本中的html代码和类似{% xxx %}这样的渲染语句分别提取出来, 使用下面的正则表达式可以做到:
re.split(r'(?s)({{.*?}}|{%.*?%}|{#.*?#})', html)
用这个正则表达式处理刚才的文本, 结果如下:
在提取文本之后, 就需要执行内部的逻辑了. python自带的exec函数可以执行字符串格式的代码:
exec('print("hello world")') # 这条语句会输出hello world
因此, 提取到html的渲染语句之后, 可以把它改成python代码的格式, 然后使用exec函数去运行. 但是, exec函数不能返回代码的执行结果, 它只会返回None. 虽然如此, 我们可以使用下面的方式获取字符串代码中的变量:
global_namespace = {} code = """ a = 1 def func(): pass """ exec(code, global_namespace) print(global_namespace) # {'a': 1, 'func': <function func at 0x00007fc61e3462a0>, '__builtins__': <module 'builtins' (built-in)>}
因此, 我们只要在code这个字符串中定义一个函数, 让它能够返回渲染后的模板, 然后使用刚才的方式把这个函数从字符串中提取出来并执行, 就能得到结果了.
基于上面的思路, 我们最终应该把html文本转化为下面这样的字符串:
# 这个函数不是我们写的, 是待渲染的html字符串转化过来的 def render(context: dict) -> str: result = [] # 这一部分负责提取所有动态变量的值 title = context['title'] # 对于所有的html代码或者是变量, 直接放入result列表中 result.extend(['<h1>', str(title), '</h1>\n<p>十以内的奇数:</p>\n<ul>\n']) # 对于模板中的for和if循环语句,则是转化为原生的python语句 for i in range(10): if i % 2 == 1: result.extend(['\n <li>', str(i), '</li>\n ']) result.append('\n</ul>') # 最后,让函数将result列表联结为字符串返回就行, 这样就得到了渲染好的html文本 return ''.join(result)
如何将html文本转化为上面这样的代码, 是这篇文章的关键. 上面的代码是由最开始那个html demo转化来的, 每一块我都做了注释. 如果没看明白的话, 就多看几遍, 不然肯定是看不懂下文的.
总的来说, 要渲染一个模板, 思路如下:
二.字符串代码
为了能够方便地生成python代码, 我们首先定义一个CodeBuilder类:
class CodeBuilder: INDENT_STEP = 4 def __init__(self, indent_level: int = 0) -> None: self.indent_level = indent_level self.code = [] self.global_namespace = None def start_func(self) -> None: self.add_line('def render(context: dict) -> str:') self.indent() self.add_line('result = []') self.add_line('append_result = result.append') self.add_line('extend_result = result.extend') self.add_line('to_str = str') def end_func(self) -> None: self.add_line("return ''.join(result)") self.dedent() def add_section(self) -> 'CodeBuilder': section = CodeBuilder(self.indent_level) self.code.append(section) return section def __str__(self) -> str: return ''.join(str(line) for line in self.code) def add_line(self, line: str) -> None: self.code.extend([' ' * self.indent_level + line + '\n']) def indent(self) -> None: self.indent_level += self.INDENT_STEP def dedent(self) -> None: self.indent_level -= self.INDENT_STEP def get_globals(self) -> dict: if self.global_namespace is None: self.global_namespace = {} python_source = str(self) exec(python_source, self.global_namespace) return self.global_namespace
这个类作为字符串代码的容器使用, 它的本质是对字符串代码的封装, 在字符串的基础上增加了以下的功能:
- 代码缩进
CodeBuilder维护了一个indent_level变量, 当调用它的add_line方法写入新代码的时候, 它会自动在代码开头加上缩进. 另外, 调用indent和dedent方法就能方便地增加和减少缩进.
- 生成函数
由于定义这个类的目的就是在字符串里面写一个函数, 而这个函数的开头和结尾都是固定的, 所以把它直接写到对象的方法里面. 值得一提的是, 在start_func这个方法中, 我们写了这样三行代码:
append_result = result.append extend_result = result.extend to_str = str
这样做是为了提高渲染模板的性能, 调用我们自己定义的函数, 需要的时间比调用result.append或者str等函数的时间少. 首先对于列表的append和extend两个方法来说, 每调用一次, python都需要在列表中的所有方法中找一次, 而直接把它绑定到我们自己定义的变量上, 就能避免python重复地去列表的方法中来找. 然后是str函数, 理论上, python查找局部变量的速度比查找内置变量的快, 因此我们使用一个局部变量to_str, python找到它的速度就比找str要快.
上面这段话都是我从网上看到的, 实际测试了一下, 在python3.7上, 运行append_result需要的时间比直接调用result.append少了大约25%, to_str则没有明显的优化效果.
- 代码嵌套
有的时候我们需要在一块代码中嵌套另外一块代码, 这时候可以调用add_section方法, 这个方法会创建一个新的CodeBuilder对象作为内容插入到原CodeBuilder对象里面, 这个和前端的div套div差不多.
这个方法的好处是, 你可以在一个CodeBuilder对象中预先插入一个CodeBuilder对象而不用写入内容, 相当于先占着位置. 等条件成熟之后, 再回过头来写入内容. 这样就增加了字符串代码的可编辑性.
- 获取变量
调用get_globals方法获取当前字符串代码内的所有全局变量.
三.Template模板
在字符串代码的容器做好之后, 我们只需要解析html文本, 然后把它转化为python代码放到这个容器里面就行了. 因此, 我们定义如下的Template类:
class Template: html_regex = re.compile(r'(?s)({{.*?}}|{%.*?%}|{#.*?#})') valid_name_regex = re.compile(r'[_a-zA-Z][_a-zA-Z0-9]*$') def __init__(self, html: str, context: dict = None) -> None: self.context = context or {} self.code = CodeBuilder() self.all_vars = set() self.loop_vars = set() self.code.start_func() vars_code = self.code.add_section() buffered = [] def flush_output() -> None: if len(buffered) == 1: self.code.add_line(f'append_result({buffered[0]})') elif len(buffered) > 1: self.code.add_line(f'extend_result([{", ".join(buffered)}])') del buffered[:] strings = re.split(self.html_regex, html) for string in strings: if string.startswith('{%'): flush_output() words = string[2:-2].strip().split() ops = words[0] if ops == 'if': if len(words) != 2: self._syntax_error("Don't understand if", string) self.code.add_line(f'if {words[1]}:') self.code.indent() elif ops == 'for': if len(words) != 4 or words[2] != 'in': self._syntax_error("Don't understand for", string) i = words[1] iter_obj = words[3] # 这里被迭代的对象可以是一个变量,也可以是列表,元组或者range之类的东西,因此使用_variable来检验 try: self._variable(iter_obj, self.all_vars) except TemplateSyntaxError: pass self._variable(i, self.loop_vars) self.code.add_line(f'for {i} in {iter_obj}:') self.code.indent() elif ops == 'end': if len(words) != 1: self._syntax_error("Don't understand end", string) self.code.dedent() else: self._syntax_error("Don't understand tag", ops) elif string.startswith('{{'): expr = string[2:-2].strip() self._variable(expr, self.all_vars) buffered.append(f'to_str({expr})') else: if string.strip(): # 这里使用repr把换行符什么的改成/n的形式,不然插到code字符串中会打乱排版 buffered.append(repr(string)) flush_output() for var_name in self.all_vars - self.loop_vars: vars_code.add_line(f'{var_name} = context["{var_name}"]') self.code.end_func() def _variable(self, name: str, vars_set: set) -> None: # 当解析html过程中出现变量,就调用这个函数 # 一方面检验变量名是否合法,一方面记下变量名 if not re.match(self.valid_name_regex, name): self._syntax_error('Not a valid name', name) vars_set.add(name) def _syntax_error(self, message: str, thing: str) -> None: raise TemplateSyntaxError(f'{message}: {thing}') # 这个Error类直接继承Exception就行 def render(self, context=None) -> str: render_context = dict(self.context) if context: render_context.update(context) return self.code.get_globals()['render'](render_context)
首先, 我们实例化了一个CodeBuilder对象作为容器使用. 在这之后, 我们定义了all_vars和loop_vars两个集合, 并在CodeBuilder生成的函数开头插了一个子容器. 这样做的目的是, 最终生成的函数应该在开头添加类似 var_name = context['var_name']之类的语句, 来提取传入的上下文变量的值. 但是, html中有哪些需要渲染的变量, 这是在渲染之后才知道的, 所以先在开头插入一个子容器, 并创建all_vars这个集合, 以便在渲染html之后把这些变量的赋值语句插进去. loop_vars则负责存放那些由于for循环产生的变量, 它们不需要从上下文中提取.
然后, 我们创建一个bufferd列表. 由于在渲染html的过程中, 变量和html语句是不需要直接转为python语句的, 而是应该使用类似 append_result(xxx)这样的形式添加到代码中去, 所以这里使用一个bufferd列表储存变量和html语句, 等渲染到for循环等特殊语句时, 再调用flush_output一次性把这些东西全写入CodeBuilder中. 这样做的好处是, 最后生成的字符串代码可能会少几行.
万事具备之后, 使用正则表达式分割html文本, 然后迭代分割结果并处理就行了. 对于不同类型的字符串, 使用下面的方式来处理:
- html代码块
只要有空格和换行符之外的内容, 就放入缓冲区, 等待统一写入代码
- 带的{{}}的变量
只要变量合法, 就记录下变量名, 然后和html代码块同样方式处理
- if条件判断 & for循环
这两个处理方法差不多, 首先检查语法有无错误, 然后提取参数将其转化为python语句插入, 最后再增加缩进就行了. 其中for语句还需要记录使用的变量
- end语句
这条语句意味着for循环或者if判断结束, 因此减少CodeBuilder的缩进就行
在解析完html文本之后, 清空bufferd的数据, 为字符串代码添加变量提取和函数返回值, 这样代码也就完成了.
四.结束
最后, 实例化Template对象, 调用其render方法传入上下文, 就能得到渲染的模板了:
t = Template(html) result = t.render({'title': '高等数学'})