蛮遗憾以前不知道读书的好，把时间花再很浮躁很虚的东西上面以至于自己也很躁。优秀的书籍真的能给自己视野冲击，积累也不过就是在一行行字之间。这一系列博客就用来摘抄让自己“AHA”的句子或观点，顺便也记录一下自己的感悟。
序言：
- 简单性原则是整个自然哲学的基本原理。
- WWW的发明人蒂姆·伯纳斯·李（Tim Berners-Lee）谈到设计原理时说过：“简单性和模块化时软件工程的基石；分布式和容错性是互联网的生命。”
- 数学一词源与古希腊语，意思是通过学习获得的知识。
第一章：文字和语言VS数字和信息
- 不论是过去还是现在，消除歧义最有效的方式就是根据“上下文”。
- 翻译这件事之所以能达成，仅仅是因为不同的文字系统在记录信息上的能力是等价的。
- 信息的冗余是信息安全的保障。（罗塞塔石碑的典故）
- 语言中的通信原理：若信道较宽，信息不必压缩就可直接传递，若信道较窄，信息在传递前需要尽可能地压缩，然后在接收端进行解压缩。说话比较快是宽信道，无需压缩书写较慢是窄信道，得压缩。白话转换为精简文言文是信道压缩的过程，将文言文解释清楚是解压过程。
- 古代犹太人抄写《圣经》时，为了检验是否抄写正确，就将每行字母对应数字加起来，看是否匹配。
- 词可以被认为是有限而且封闭的集合，而语言则是无限和开放的集合。
- 语言学研究方法的问题：到底是语言对还是语法对？前者坚持从真实的语句文本出发，而后者坚持从规则出发。自然语言处理的成就证明了前者对。
一些比较重要的概念和主题：
- 通信的原理和信息传播的模型
- （信源）编码和最短编码
- 解码的规则和语法
- 聚类
- 校验位
- 双语对照文本，语料库和机器翻译
- 多义性和利用上下文消除歧义
Reflection：
其实一直都知道现在很多高深的东西都是从最简单的概念或者生活中逐渐抽象出来的，但是自己在学习的过程中常常会忘了这一点，便陷入到“这好难，我是不是五行缺IQ”的怪圈，每天看看这样的小知识，了解了解历史还是很有趣的~