邹扒皮实验室

胆小怕事,愤而删库


  • 首页

  • 关于

  • 标签

  • 分类

  • 归档

ambry LinkedIn 对象存储 论文翻译

发表于 2018-12-13 | 分类于 分布式系统 , 分布式存储 |

原文Ambry: LinkedIn’s Scalable Geo-Distributed Object Store 发表于 SIGMOD 16 项目目前已经开源托管在github

摘要

全世界社交网络之下的基础设施,需要为数十亿的大小可变的媒体对象提供不间断的服务,例如照片,视频和音频切片。这些对象必定被存储在一个低延时高吞吐的系统中。这个系统需要支持跨地区、可扩展,并提供负载均衡能力。当存储大文件的时候,现有的文件系统和对象存储面临着一些挑战。我们推出 Ambry,一个针对大规模不可变对象(称之为blob)的生产级系统。Ambry 设计为一个分布式的系统,并且使用了如下技术:逻辑 blob 组,异步复制,再均衡机制(译注:数据再均衡),zero-cost 失败检测机制和系统缓存。Ambry 已经在 LinkedIn 生产环境中运行了 2 年,以高达 1万次/s 请求的质量,为超过 4 亿用户提供了服务。我们的实验显示,Ambry 提供了一个高效(使用了 88% 的带宽),低延时(1MB 文件延时小于50ms),负载均衡(相对于未进行负载均衡提高了 8-10 倍性能)的系统。

阅读全文 »

mit 6.824 学习笔记 (一) MapReduce 详解

发表于 2018-11-27 | 分类于 分布式系统 , mit6.824 |

0x00 序

本来前年的这个时候就打算刷这个课了,但是在抗击懒癌的过程中节节败退。一直就拖到了现在,也不知道这次能坚持多久。总之争取每个月能出一篇文章吧。主要是为了克服自己对于知识的遗忘,如果同时能给你带来一些启发或者帮助那就更好了。考虑到自己吃了没文化的亏,为了能在某些时候能读到最新的一些技术文章或者论文。现在就必须克服读英语的障碍,我会强迫自己去理解并翻译原文,参考其他文章的理解,参考讲义,最后总结出来一篇文章。

阅读全文 »

haystack 指北

发表于 2018-08-11 | 分类于 分布式系统 , 分布式存储 |

序

haystack 是facebook 开发的对象存储系统,用来存储facebook的照片,面对海量的图片数据,从中取回一张图片确实很像大海捞针,文章的名字还是比较有有意思的,相关的设计发表在了osdi 原文链接 文章总体分为6大部分,主要总结了facebook遇到的问题,总结过去遇到的问题,回顾过去的解决方案,进而规避过去方案的不足从而设计了haystack来解决之前的问题,并在文章的最后进行了性能相关的分析。本博文主要摘取重要部分进行摘录,并进行进一步讨论和研究,同时回避了CDN相关的章节。

阅读全文 »
phantooom

phantooom

专业系统研(yun)究(wei)者

3 日志
3 分类
8 标签
GitHub E-Mail 知乎 LinkedIn
© 2019 phantooom
由 Hexo 强力驱动
|
主题 — NexT.Pisces v5.1.4