Tag: 信息
我们为什么需要信息冗余
欢迎评论。。以后还可能写个版本2。。。 冗余的人类语言 研表究明，汉字序顺并不定一影阅响读！事证实明了当你看这完句话之后才发字现都乱是的。 以上这句话很多人都看到过，知乎上也有很多人讨论问题的原因[2]，对于这段中文，有人从贝叶斯决策的角度分析，指出这是由于人借助了上下文的相关信息+日常的经验。对于英文，如果把一段话的每个单词的字母顺序打乱，也会出现不影响阅读的情况，有人指出这可能是人在阅读一个单词时只看第一个字母和最后一个字母的原因。我感觉都是有道理的。 但现在我们要从另一个角度考虑这个问题： 假设在另一个平行宇宙中，汉语“研表究明”和“研究表明”存在截然不同表示的是两种截然不同的意思，那么就算那个宇宙中的人们可能就觉得这两个词是有区别的。 再假设一个更极端的平行宇宙，他们每个单词都长为6个字母，且只能由ABCDEF 6种字母组成(我算了下有4万多种组合，够多了)，那么，他们对词序的判别应该就特别严格吧。 可见，我们所在的平行宇宙中，语言中是存在“冗余”的。这样，不管依据什么经验，语言的冗余，让我们辨识出调换词序的句子的原本意思成为可能。 其实不光调换词序体现了这种冗余。类似的，当我们在一个噪音大的环境中讲话的时候，或者在FM收音机中调出一个信号不好的电台时，我们一般情况下照样可以听明白对方所讲，靠着也是这种“冗余”，我们可以根据已知的信息，猜出完整的信息。 0和1：抗干扰的冗余 接着说收音机。如前边所说，我们的语言中存在”冗余”，所以接收的电台中音调偶尔的变化或者一些字的不清晰依然不影响我们接受信息。那么为什么现在的网络电台没有这些失真、底噪呢，人们靠什么高科技来消除这些噪声干扰？ 我们常见的收音机，不管是调幅的还是调频的，都是以模拟信号进行传输的，这种信号直接将要传输的信息以幅度或者频率的形式均匀地映射(调制)到负责传输信号的电磁波(载波)上，由于传输的过程(信道)中信号必然是被各种干扰(噪声)的，于是我们的收音机接收到的电磁波转换到声音的形式(解调)时，干扰信号(噪声)也就被一一映射到了声音(噪音)传到我们耳朵中。 但是现在的网络传输，多数基于数字信号。信号都不再是一一映射到频率值或幅度值了，而是仅映射为一个由0或1(两种频率或幅度)组成的编码。我们假定一个最简单的串行通信，在一个时刻，只能有0或1两种可能，假设信道中存在干扰(比如0被干扰到0.2还会被认为是0信号，1被干扰为0.9还会被认为是1信号)，接收后的结果也大概率没有出错。其实这也是一种冗余，一种防止出错的冗余。 0, 1, 2, 3：高效的冗余？ 我们为了信息的稳定传输，将无限种状态映射到两种状态(0和1)的编码。但是，我们为什么一定要2种状态呢？为什么不能是0, 1, 2三种状态呢？如果这种可能容易实现(电路上)，而且人们最开始没有走上普及二进制计算机这条不归路，那么可能我们现在用的都是基于三机制的电脑了[4]。 技术上的难度或者转换的巨大成本，让人类点了”二进制”这条科技树。不过人们虽然没有用3种状态，但是用4种状态或者8种状态的情况倒是有很多，因为这能保证了和系统其他部分的二进制组件兼容。 比如在信息存储中，固态硬盘(SSD)的MLC/TLC技术，就是在每个存储单元中把以前SLC的两种状态(电压)记录信息，转为用4种/8种电压来记录信息，这样做便增加了SSD的存储密度。 (0, 1, 2, 3) + X: 不可避免的冗余 但是，这种4种或8种状态的SSD，虽然提高了存储密度，但它们的存储单元的寿命会缩短，所以制作这种SSD的时候，就一定要在设备内部预留更多的备用存储单元，这也是一种冗余。看来冗余从抗干扰的冗余被迫转为空间的冗余。 当然，我们也可以采用校验/纠错码技术，用更小的空间冗余来保证信息的可靠。但是编码或数据恢复都需要话费额外的计算时间。如果我们比起冗余空间的开销，更不看重数据恢复的时间，那么看起来空间的冗余又转为了时间的冗余。 看来，冗余无法避免，0/1到(0, 1, 2, 3)，虽然它们减少了信号抗干扰的冗余，但是最终也无法避免的使用了其他的冗余。X可能是空间，可能是时间，但到今天这个世界中，都会是money，无法预测的money。 扩展阅读 [1] 熵：宇宙的终极规则, http://www.ruanyifeng.com/blog/2017/04/entropy.html [2] 知乎：为什么汉字顺序有时候不影响阅读？ https://www.zhihu.com/question/20428571 [3] 知乎：如何从心理学上解释『打乱英语单词首尾字母之外的字母顺序仍然不影响阅读』的现象？https://www.zhihu.com/question/20804531/answer/16237704 [4] 知乎：苏联三进制计算机Сетунь到底是怎样一个计算机？https://www.zhihu.com/question/35937929
时间就是金钱，金钱就是信息
“时间”和“空间”，在小的时候对我来说只是两个词语，没有什么实质的领悟；后来知道了霍金曾写《时间简史》来讨论时间，到现在也没读完过，估计读完也懂不了；貌似爱因斯坦还说过时间是现实世界的第四个维度？但时间对于人来说总是有别于空间的，但时间总是感觉很特别，感觉不应该和空间统一起来，我想两者应该是个对等的关系；再后来，相见别离，让我明白了时间的意义，房价飙涨，也让我了解了空间的残酷(2333…)。 倒是从大学后的一些课程开始，我对这两个概念有了更加现实的理解。比如，数据结构这门课貌似从第一节就让我们求一段程序的空间复杂度和时间复杂度，有些算法是用时间换空间（牺牲更多计算时间，减少存储空间），有些是用空间换时间。加上后来的各种经历和获得的知识，让我觉得，信息的存在需要空间和时间，而随着人类的发展，各种信息所需要的时间和空间之间可以互相转换替代。 生活中的信息和时间/空间 如果对算法复杂度一窍不通，我们也能在生活中找到一些例子。比如街上的小店铺门前挂的LED电子屏幕，上面可能滚动着各种最新的促销信息，如果你碰巧感兴趣，就需要驻足等所有字幕滚动一遍。看完你可能觉得很烦：“为什么字幕滚动这么慢，促销又这么没有诚意，完全是在浪费时间…”，这说明你的阅读速度很快，老板也许还想让更多心不在焉的人感受到他跳楼甩卖之决心呢。我们考虑这样一个问题，如果放到没有LED屏的30年前，也许把整个店铺的店面用横幅盖住也写不下这么多的字吧。这里，LED电子屏减小了店铺广告的空间，却增加了展示同样多信息的时间(不考虑人的阅读速度，时间由零秒变为字幕滚动所需的数秒)。 类似还有很多例子。我还可以想到电子书和纸质书，一个iPad可能可以存下原来一个图书馆的书籍，空间大大减小。但是要展示所有的书籍的信息，iPad却必须花时间：设想我们有足够的空间的话，可以把图书馆所有的书的每一页都撕下来摊开放在地上，所有信息展示的时间为零，而iPad只有一个屏幕，我们无法在一个时刻翻完所有的信息(假设屏幕帧率为100Hz，我们一秒最多翻100页)。再例如，如果你喜欢电子读物，只需要一个MP3和一个耳机，甚至连ipad的大屏幕都不需要，空间又减小了，但由于说话速度小于阅读速度，展示完所有信息需要的时间却又增加了。这里当然是把人接收书中信息的速度忽略不计了，因为有人会把音频书加快3倍听，而另一些人可能看文字书一目十行。 更接近信息本质的思考 在通信和计算机系统中，信息的传递和存储都是需要编码的，这些编码的过程就是对信息进行表示和压缩的过程。 莫尔斯码也许是为人熟知的系统，这种电码和现代计算机系统类似，最小的通信单元也是两种状态：长、短。长短电报音的各种组合就能表示各种各样不同的信息。最早的电报是需要电报员的，他只能戴上耳机，处于紧张的接收状态。设想如果我们是21世纪的操纵古老电报机的电报员，我们可能会想出各种办法把这种音频记录通过模式识别之类的手段存储起来，然后用Python写一个解码器就直接将翻译过来了。我们不考虑翻译过程的话，我们的“现代做法”便是用存储空间换取了持续在线接收的时间，或者说这是一种带不带“缓冲区”的区别。 数据压缩的概念也很常见，我们从网上下载的很多文件，格式都是rar或zip的，这时如果你想使用它，就必须用压缩软件解压。而这个解压速度，主要取决于你CPU的计算性能。很简单的道理：解压和压缩虽然都需要消耗时间，但可以节省更多的空间。这就是信息在时间和空间的一种转换。 信息的成本和价值 “时间就是金钱”。我认为，之所以人们经常那这句话提醒自己，肯定是因为通常金钱并不经常和时间有一个公认的“汇率”。也许空间就不一样了，在北京的房子可能需要10万一平米，其他有些地方的房子可能只要1千元一平米，大家都觉得很合理；一块普通硬盘可能需要5毛钱1GB的成本，可能固态硬盘就要5块钱1GB，大家也认为很合理，空间总有个价格。 …… 如果我假设，信息的产生、获取或者存储可以用存储空间和计算时间来度量，同时计算时间和存储空间之间又存在某种公认的价格（比如云计算–明码标价的计算能力和存储能力），那么也许时间就是真的可以用金钱来衡量了。而信息这种依赖时间和空间的产物，也便产生了其必然的价值。那么到了那个时候，时间就是金钱，金钱就是信息。 …… 最后要说明： 这篇博客并没有投入很多时间深入思考，只是最近偶然冒出的一些想法。在我看来，人生的意义很大程度上在于了解自己和自己之外的东西，这些想法也许有用也许没用，也许深奥也许通俗，但以我的角度，都是自己所学所见的一些积累所导致，所以对我来说都是值得记录的。谢谢大家的关注。