手动搜集资料，不敢保证无误，如有错误，恳请指正。 1. 设备 最新的3D XPoint存储器比DRAM慢10倍，便宜2倍；比NAND FLASH快1000倍，贵5倍左右，性能比其他PCIe和NVMe的SSD快10倍左右。并且它是一种NVM。 下表摘自[2] Type Volatile? Writeable? Erase Size Max Erase Cycles Cost (per Byte) Speed SRAM Yes Yes Byte Unlimited Expensive Fast DRAM Yes Yes Byte Unlimited Moderate Moderate Masked ROM No No n/a n/a Inexpensive Fast PROM No Once, with a device programmer n/a n/a Moderate Fast EPROM No Yes, […]
时隔近3个月，我本科毕业后第一次回到了西安，见到了在本校读研的舍友们，不过主要还是来参加信息存储年会的。 会议有特邀报告、青年学者报告和优秀论文交流报告，分别是大神级的学者、大神级的青年学者和大神级的博士生进行报告，听了这些报告真的感觉到自己的差距有多么大，同时感觉不虚此行。 这是一篇我所听报告的部分内容的总结，语言从我个人理解的角度出发，信息可能不全或不准确，如有问题，欢迎讨论和指正。 阻变存储器性能优化方法的研究 冯丹教授讲的题目是“ 阻变存储器性能优化方法的研究 ”。首先RRAM(阻变式存储，Resistive Random Access Memory，ReRAM)是一种非易失性存储器(NVM)，尺寸单元小，有发展潜力。冯丹教授这次的报告是比较偏硬件，但还是有很多启发。 背景： DRAM在技术上要降低能耗、提升容量越来越难，而且DRAM技术提高的速度比CPU慢，另外技术工艺达到40nm之后很难再提高。所以ReRAM代替DRAM是一种选择。 RRAM的存在的问题： 1. reset延迟和能耗代价均高于set；2. TLC的延迟大于SLC；3. 存在IR-drop的问题，离驱动电源越近，延迟越低。 几项工作： 1. 针对上述第一点问题，提出了可以将对角线上的set和reset并行，这样降低了总延迟时间。 2. 针对上述第二点问题，使用了一种“压缩率感知”的方法，利用MLC/TLC中中间几种状态慢于两边状态的特点，将中间的几个状态合并，根据压缩的工作负载的压缩率，来进行决策，重新编码存储（比如把原来MLC的4中状态中的第2、3两种合为一个状态，这样就变成了3中状态，减小了延迟和能耗）。3. 针对上边的第三点问题，用双端驱动代替单端驱动，这样处于接近电源驱动的区域就增多了，并且可以根据快慢在驱动层中区分硬件上的快慢区域，来合理使用。 半层次化的语义存储体系结构 华中科大华宇教授的报告，讲了一种” 半层次化的语义存储体系结构 “，希望将原来的存储结构（比如文件系统的目录结构）转为一种多标签的索引结构。 背景： 存储有5个趋势，分别是更大规模、智能化、一体化（计算和存储更近）、长期化和边缘化（雾计算，临近计算等）。 问题： 存储的层次化越来越明显，同时新兴的存储期间很多(PCM、SSD、DRAM、3D Xpoint……)；NVM能缓解存储的压力，但是由于寿命等问题无法从根本上解决问题；对于文件系统来说，查找树不是太高就是太胖；locality的设计思想是用稀缺资源存储最热的数据，但目前的大趋势是locality正在减小；cache的适应能力弱，比如需要较强时间的预热，代价很高。 解决思路： 用语义存储带起当前的存储模式，例如：文件系统中使用扁平化的树结构，一个文件同时贴上(识别出)多种标签；有了这种模式，非精确dedulication中可以在关联数据间进行，提升效率；近似图像语义间的dedupe；data cube是对于高维查找提前做出计算的一种方法，如果基于语义，可以缩小计算范围。 数据中心驱动下KV系统的设计和实现 德州大学阿灵顿分校的Song Jiang教授主要讲了KV系统的缓存问题。 问题： 由于在分布式存储中，所有的访问都要经过metadata server(MDS)，所以MDS是一个瓶颈，应用Key-Value(KV)系统就是取消了MDS的一种解决方案。KV系统是需要缓存的，怎么更高效的利用有限的缓存空间是一个问题。 思路： 可以使用更好的缓存数据替换算法，但是并没有效果太好的；可以提升内存容量，但是这会直接导致成本上升；可以利用压缩提升缓存利用率，但是解压和压缩也会导致很大的性能下降。 方法： 对实际访问trace数据分析发现，随着缓存空间的增长，缓存命中率上升到80%是很快的，但从80%上升到90%则需要更多的内存，基于这点，将cache分级，最热的数据不进行压缩，对并非太热的数据进行压缩，这就很好的平衡了压缩解压缩的延迟和缓存的利用率问题。 对于这种方法，还有一个解释，就是对cache命中，即使要进行解压缩操作，时间也远远小于访问存储服务器进行磁盘访问，这样，即使缓存利用率提升了5%，也可能带来很大的性能提升效果。Song教授解释的意思是，由于磁盘访问的速度特别慢，在命中率从90%提升到95%的情况下，更应该看到的是未命中率降低了一半(10%–>5%)，而不是命中率提升了很少（90%->95%） 其他 清华的陆游游博士介绍了NVM+RDMA的分布式存储方案，有了RDMA，CPU传送所有数据的等待时间减小到传送存储地址的时间。 华科博士生左鹏飞提出了一种基于位置分享的解决哈希冲突的策略，用于NVM系统。 上海交大的博士生董明凯介绍了他发表在ATC 17上的文章Soft Updates Made Simple and […]
原文：The technology to make ‘Silicon Valley’s’ decentralized ‘new internet’ already exists( http://mashable.com/2017/04/24/is-silicon-valley-new-internet-possible-or-not/#6cEY_p263PqN ) 作者：RAYMOND WONG 时间：APR 25, 2017 “给你无限的时间和资源，你想用你的压缩算法做出什么都行……什么都行，说出来是什么，3，2，1……说！”美剧《硅谷第四季》中的“变态”亿万富翁Russ Hanneman对主角Richard Hendricks喊道。 “一个全新的互联网”，可爱的程序猿Richard说。 “我们曾用一台掌上电脑的计算能力把一个人放在月球上”，Richard继续说道，“我们现在手机上的计算能力要比那强几十万倍，但这些手机却都只是躺在口袋里什么都不做。所以我想到这个，有数十亿的手机在世界各地拥有相同的计算能力，只是闲在人们的口袋里。“ “然后我想，如果我们使用这些手机来构建一个庞大的网络呢？使用我的压缩算法来使一切数据变得很小，高效，到处传播。如果我们能做到这一点，我们可以建立一个完全去中心化的网络，那将是没有防火墙，没有收费，没有政府监管，没有间谍的互联网。信息因此在各种意义下都将是完全自由的。“ Russ不仅喜欢这个看似疯狂的想法，还答应投资。Russ还分解了Richard的数据压缩初创公司Pied Piper，迫使他退出，以便让他弄清楚如何将“新互联网”变成现实。 “我不知道是否可行”，Richard承认，“我还没有仔细去想过。” 这正是观看剧集的粉丝们一直想知道的， Richard的“新互联网”到底是真的可能呢，还是只是电视上编造的？ 当今的互联网是去中心化和中心化的混合体。 任何人都可以创建一个去中心化的点对点(P2P)网络，让设备间直接连接，比如BitTorrent。同时，任何人也可以去创建一个中心式网络，通过服务器传递数据，多数大型在线服务都是如此，如Google，Facebook和Twitter。 加密的、去中心化的网络的好处是显而易见的：安全性和隐私性。 由于数据在分散的网络节点上存储和传递，没有任何在线服务或者政府可以在你不知情的情况下窥探你的数据。 Mesh Network 理论上，可以有几种方式来构建这个“新互联网”。 第一个是Mesh Network（网状网络），它是由任意数量的设备或节点组成，数据在节点之间传递。手机应用Firechat是使用mesh network的完美示例，它通过蓝牙让手机间相互连接。 事实上，一些狂热的reddit用户在《硅谷》下一集的预告视频中Richard的白板涂鸦上发现了一些线索，表明剧中他至少考虑了mesh network。使用mesh network并依赖蓝牙等无线协议的缺点当然是较小的覆盖范围和较慢的传输速度。你的设备与其他设备的连接质量要取决于各个设备的蓝牙规格。虽然你可以通过你和你要连接的设备的路径中间有其他节点“中继”来解决这个问题，但并无法保证每次都有中间节点。 另一方面，蓝牙4.0只有200英尺的范围，蓝牙5.0的新设备也能达到800英尺。此外，蓝牙5.0将带宽从4.0的25Mbps提高到50Mbps。虽然不如千兆的Wi-Fi或LTE，但嘿，隐私和安全更比速度更重要，对吧？ 也就是说，剧中Richard的能“使一切都变小，高效”的超级强大的压缩算法，将是使mesh network成为可能的特殊要素。 Maidsafe & Storj Richard实现他宏伟计划的另一种可行方式，是像Maidsafe的SAFE网络或Storj的P2P网络。虽然它们仅用于去中心化的文件存储，但我并不认为像Richard那样的代码狂人无法调整这些结构。SAFE网络自称为“新的去中心化互联网”，很大程度上承诺了Richard的想法，只不过它没有使用闲置的手机计算资源，而是使用的PC。 根据该公司的说明，用户可以无须验证地创建一个帐户，然后决定贡献分配给SAFE网络的空间。 然后，Maidsafe会向贡献存储空间的用户支付“Safecoins”（一种具有真实市场价值的加密虚拟货币）。用户向“vault”贡献越多的存储空间，就会得到越多的Safecoins。Maidsafe以此来进一步激励用户加入SAFE网络。 在文件被上传之前，它被先被加密，然后分解成较小的数据包并分散到网络中去。数据存储是存在冗余的，并且在计算机打开时，文件会在网络上自主移动。简单说，“新互联网”上所有的数据都是分块、加密存储在所有设备上的。在网络上所有设备上的碎片加密件中。 当你需要访问自己的数据时，只需从其他设备下载各部分就可以了，这基本上就和BitTorrent一样了。 SAFE网络现在只是在进行alpha测试，但是更接近公开发布。 虽然它只适用于Windows/Mac/Linux，但公司未来也会考虑移动平台。去年在TechCrunch上，Maidsafe创始人David […]
论文原文PDF: sRoute: treating the Storage Stack Like a Network 出处：USENIX FAST 16 1. 概述 数据中心中，数据从一个应用最终到达存储服务器不仅要经过网络，还要经过很多的存储层次，这些层次可以称为存储栈(Storage stack)。对于数据中心中一个较为复杂的应用，一个IO请求甚至要经过应用缓存层、虚拟机操作系统(Guest OS)文件系统页高速缓存、Guest OS文件系统、Guest OS IO调度层、Guest OS块缓存、Guest OS块设备驱动、虚拟机管理器、宿主机操作系统(Host OS)网络驱动、缓存服务器、远程存储服务器缓存、远程存储服务器文件系统、远程存储服务器物理磁盘等多达十几层的存储阶段(Stage)。 而一般IO经过这些stage最终到达终点的路径是预先制定好的，这条路缺乏灵活性(hard-coded)，即使仅想改变其中的某个stage，实际更改的时候也可能会涉及到这个stage之上和之下的多个stage。 本文仿照软件定义网络(SDN)的思想，提出了一种软件定义存储的架构sRoute，从原始的数据中心存储中心抽象出数据平面和控制平面，控制平面上的中心化controller随时可以对数据平面上的存储交换机sSwitchs安装“转发规则”，来实时控制IO路径。这样，就实现了包括改变终点、改变中间路径和将点对点路径散布为一点对多点在内的三种基本IO路径更改方法。 2. 整体设计 2.1. 数据平面和sSwitch 数据平面包括原有IO栈的各个stage和本文新加入的特殊stage sSwitch。sSwitch可以插入到IO路径的中任意的stage中，其根据当前的”IO转发规则”对IO进行转发。具体的，sSwitch会检测每个IO请求的header，根据header中包含的IO源点和目的点信息来和当前sSwtich所存的”IO转发规则”进行匹配，然后根据对应规则进行转发。 例1 把所有从VM~1~中到服务器S~1~文件X的读请求都路由到S~2~文件Y，那么VM~1~和S~2~之间的任意一个sSwitch的转发规则可以这样表示：