分布式系统(Distributed System)资料

时间  2019-11-15
标签 分布式 系统 distributed system 资料 栏目 系统架构 繁體版
原文   原文链接
这个资料关于分布式系统资料，做者写的太好了。拿过来以备用
 
网址：https://github.com/ty4z2008/Qix/blob/master/ds.md
但愿转载的朋友，你能够不用联系我．可是必定要保留原文连接，由于这个项目还在继续也在不按期更新．但愿看到文章的朋友可以学到更多．

介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的做者(导师)是MIT读博的时候是作分布式系统的研究的,如今在NUS带学生,不只仅是分布式系统,还有无线网络.若是感兴趣能够去他的主页了解.php

介绍:分布式编程实验室,他们发表的不少的paper,其中不只仅是学术研究,还有一些工业界应用的论文.html

介绍:麻省理工的分布式系统理论主页,做者南希·林奇在2002年证实了CAP理论,而且著《分布式算法》一书.linux

介绍:分布式系统搭建初期的一些建议git

介绍:分布式计算原理课程程序员

介绍:Google全球分布式数据介绍,中文版github

介绍:Algolia的分布式搜索网络的体系架构介绍golang

介绍:构建高可用分布式Key-Value存储系统web

介绍:Nanomsg和Bond的分布式搜索引擎redis

介绍:使用MongoDB和Mongothon进行分布式处理算法

介绍:分布式数据库中把ACID与BASE结合使用.

介绍:理解的Paxos的分布式系统,参考阅读:关于Paxos的历史

介绍:There is No Now Problems with simultaneity in distributed systems

介绍:伦敦大学学院分布式系统课程课件.

介绍:分布式系统电子书籍.

介绍:卡内基梅隆大学春季分布式课程主页

介绍: 电子书,分布式系统概念与设计(第五版)

介绍:这是一位台湾网友 ccshih 的文字，短短的篇幅介绍了分布式系统的若干要点。pdf

介绍:清华大学分布式系统课程主页,里面的schedule栏目有不少宝贵的资源

介绍:免费的在线分布式系统书籍

介绍:Quora上面的一篇关于学习分布式计算的资源.

介绍:这个是第一个全球意义上的分布式数据库，也是Google的做品。其中介绍了不少一致性方面的设计考虑，为了简单的逻辑设计，还采用了原子钟，一样在分布式系统方面具备很强的借鉴意义.

介绍:Google的统面向松散耦合的分布式系统的锁服务,这篇论文详细介绍了Google的分布式锁实现机制Chubby。Chubby是一个基于文件实现的分布式锁，Google的Bigtable、Mapreduce和Spanner服务都是在这个基础上构建的，因此Chubby其实是Google分布式事务的基础，具备很是高的参考价值。另外，著名的zookeeper就是基于Chubby的开源实现.推荐The google stack,Youtube:The Chubby lock service for loosely-coupled distributed systems

介绍:这篇论文是SOSP2007的Best Paper，阐述了一种构建分布式文件系统的范式方法，我的感受很是有用。淘宝在构建TFS、OceanBase和Tair这些系统时都充分参考了这篇论文.

介绍:Ebook:Data-Intensive Text Processing with MapReduce.

介绍:Design and Implementation of a Query Processor for a Trusted Distributed Data Base Management System.

介绍:分布式查询入门.

介绍:分布式系统和api总结.

介绍:分布式系统阅读论文，此外还推荐github上面的一个论文列表The Distributed Reader。

介绍:Replication, atomicity and order in distributed systems

介绍:2015年MIT分布式系统课程主页，此次用Golang做为授课语言。6.824 Distributed Systems课程主页

介绍:免费分布式系统电子书。

介绍:斯坦福开源的分布式文件系统。

介绍:Google论文：设计一个高可用的全球分布式存储系统。

介绍:对于分区数据库的分布式事务处理。

介绍:Distributed Systems Building Block: Flake Ids.

介绍:Google Code University课程，如何设计一个分布式系统。

介绍:KVM的分布式存储系统.

介绍:分布式系统课程列表,包括数据库、算法等.

介绍:来自百度的分布式表格系统.

介绍:分布式系统的在线电子书.

介绍:分布式系统资料,此外还推荐Various articles about distributed systems.

介绍:Designs, Lessons and Advice from Building Large Distributed Systems.

介绍:Testing a distributed system can be trying even under the best of circumstances.

介绍: 基于普通服务器构建超大规模文件系统的典型案例，主要面向大文件和批处理系统， 设计简单而实用。 GFS是google的重要基础设施， 大数据的基石， 也是Hadoop HDFS的参考对象。 主要技术特色包括： 假设硬件故障是常态（容错能力强）， 64MB大块， 单Master设计，Lease/链式复制， 支持追加写不支持随机写.

介绍:支持PB数据量级的多维非关系型大表， 在google内部应用普遍，大数据的奠定做品之一 ， Hbase就是参考BigTable设计。 Bigtable的主要技术特色包括： 基于GFS实现数据高可靠， 使用非原地更新技术（LSM树）实现数据修改， 经过range分区并实现自动伸缩等.中文版

介绍:面向log-based存储的强一致的主从复制协议， 具备较强实用性。 这篇文章系统地讲述了主从复制系统应该考虑的问题， 能加深对主从强一致复制的理解程度。 技术特色： 支持强一致主从复制协议， 容许多种存储实现， 分布式的故障检测/Lease/集群成员管理方法.

介绍:分布式存储论文:支持强一直的链式复制方法， 支持从多个副本读取数据,实现code.

介绍:Facebook分布式Blob存储,主要用于存储图片. 主要技术特点:小文件合并成大文件,小文件元数据放在内存所以读写只需一次IO.

介绍: 微软的分布式存储平台, 除了支持类S3对象存储，还支持表格、队列等数据模型. 主要技术特色：采用Stream/Partition两层设计（相似BigTable）;写错（写满）就封存Extent,使得副本字节一致, 简化了选主和恢复操做; 将S3对象存储、表格、队列、块设备等融入到统一的底层存储架构中.

介绍:从工程实现角度说明了Paxo在chubby系统的应用， 是理解Paxo协议及其应用场景的必备论文。 主要技术特色： paxo协议， replicated log， multi-paxo.参考阅读:关于Paxos的历史

介绍:Amazon设计的高可用的kv系统,主要技术特色：综和运用一致性哈希,vector clock,最终一致性构建一个高可用的kv系统， 可应用于amazon购物车场景.新内容来自分布式存储必读论文

介绍:分布式存储系统中的副本存储问题.

介绍:分布式存储系统架构.

介绍:开源分布式文件系统Chirp,对于想深刻研究的开发者能够阅读文章的相关Papers.

介绍:经典论文分布式时钟顺序的实现原理.

介绍:面向软件错误构建可靠的分布式系统,中文笔记.

介绍:MapReduce:超大集群的简单数据处理.

介绍:麻省理工的分布式计算课程主页,里面的ppt和阅读列表不少干货.

介绍:分布式系统Styx的架构剖析.

介绍:Quora上面的一个问答:有哪些关于分布式计算学习的好资源.

介绍:下一代分布式k-v存储数据库.

介绍:分布式系统归根结底仍是须要操做系统的知识,这是耶鲁大学的操做系统概念书籍首页,里面有提供了第8版的在线电子版和最新的学习操做系统指南,学习分布式最好先学习操做系统.

介绍:分布式系统Log剖析,很是的详细与精彩. 中文翻译 | 中文版笔记.

介绍:分布式系统基础之操做系统学习指南.

介绍:分布式系统领域经典论文翻译集.

介绍:分布式系统性能维护.

介绍:计算机科学，自底向上,小到机器码,大到操做系统内部体系架构,学习操做系统的另外一个在线好材料.

介绍:<操做系统:三部曲>在线电子书,虚拟、并发、持续.

介绍:数据库系统经典论文阅读列,此外推送github上面的db reading.

介绍:Unix System Administration ebook.

介绍:分布式系统经典论文.

介绍:计算机系统概念，以分布式为主.此外推荐Introduction to Operating Systems笔记

介绍:推荐康奈尔大学的教授EMİN GÜN SİRER的主页,他的研究项目有分布式,数据存储。例如HyperDex数据库就是他的其中一个项目之一.

介绍:来自卡内基梅隆如何构建可扩展的、安全、高可用性的分布式文件系统,其余papers.

介绍:分布式机器学习经常使用库.

介绍:介绍了如何构建仓储式数据中心,尤为是对于如今的云计算,分布式学习来讲颇有帮助.本书是Synthesis Lectures on Computer Architecture系列的书籍之一,这套丛书还有 《The Memory System》,《Automatic Parallelization》,《Computer Architecture Techniques for Power Efficiency》,《Performance Analysis and Tuning for General Purpose Graphics Processing Units》,《Introduction to Reconfigurable Supercomputing》,Memory Systems Cache, DRAM, Disk 等

介绍:来自芬兰赫尔辛基的分布式系统课程课件:什么是分布式,复制,一致性,容错,同步,通讯.

介绍:分布式数据库TiDB,Golang开发.

介绍:课程资料:大规模系统.

介绍:使用MapReduce进行大规模分布式集群环境下并行L-BFGS.

介绍:Twitter是如何构建高性能分布式日志的.

介绍:在分布式系统中某个组件完全死了影响很小，但半死不活（网络/磁盘），对整个系统倒是毁灭性的.

介绍:来自百度的分布式数据库.

介绍:SequoiaDB分布式文档数据库开源.

介绍:这个网址里收集了一堆各TOP大学分布式相关的课程.

介绍:这个网站是Raft算法的做者为教授Paxos和Raft算法作的，其中有两个视频连接，分别讲上述两个算法.参考阅读:关于Paxos的历史

介绍:A Scalable Content-Addressable Network.

介绍:这个项目实际上是一本书（ The Architecture of Open Source Applications）的源代码附录，是一堆大牛合写的.

介绍:这只是一个课程主页，没有上课的视频，可是并不影响你跟着它上课：每一周读两篇课程指定的论文，读完以后看lecture-notes里对该论文内容的讨论，回答里面的问题来加深理解，最后在课程lab里把所看的论文实现。当你把这门课的做业刷完后，你会发现本身实现了一个分布式数据库.

介绍:使用go开发的分布式文件系统.

介绍:Quora上关于学习分布式的资源问答.

介绍:SeaweedFS是使用go开发的分布式文件系统项目,代码简单，逻辑清晰.

介绍:Codis 是一个分布式 Redis 解决方案, 对于上层的应用来讲, 链接到 Codis Proxy 和链接原生的 Redis Server 没有明显的区别

介绍:Coordination Avoidance In Distributed Databases.

介绍:本文以TiDB 源码为例.

介绍:分布式系统概念梳理,为分布式系统涉及的主要概念进行了梳理.

介绍:使用Redis实现分布式锁.

介绍: 斯坦福2014年秋季分布式课程.

介绍: 分布式的“读原子性”.

介绍: 大数据分布式机器学习的策略与原理.

介绍: 分布式CAP法则.

介绍: 新手如何步入分布式存储系统.

介绍: 分布式存储系统Cassandra剖析,推荐白皮书Introduction to Apache Cassandra.

介绍: 分布式系统学习资源.

介绍: 一些高性能TCP黑客技巧.

介绍:分布式系统性能提高.

介绍:Benjamin Reed 和 Flavio P.Junqueira 所著论文,对Zab算法进行了介绍,zab算法是Zookeeper保持数据一致性的核心,在国内有不少公司都使用zookeeper作为分布式的解决方案.推荐与此相关的一篇文章ZooKeeper’s atomic broadcast protocol: Theory and practice.

介绍:可扩展的分布式文件系统ZFS,The Zettabyte File System,End-to-end Data Integrity for File Systems: A ZFS Case Study.

介绍:分布式Haskell在当前web中的应用.

介绍:POPL2016的论文,关于分布式系统一致性选择的论述,POPL所接受的论文,github上已经有人整理.

介绍:Paxos让分布式更简单.译文.参考阅读:关于Paxos的历史,understanding Paxos part1,Understanding Paxos – Part 2.Quora: What is a simple explanation of the Paxos algorithm?,Tutorial Summary: Paxos Explained from Scratch,Paxos algorithm explained, part 1: The essentials,Paxos algorithm explained, part 2: Insights

介绍:分布式系统一致性协议:Paxos.参考阅读:关于Paxos的历史

介绍：事务提交的一致性探讨.

介绍:在《The Part-Time Parliament》中描述了基本协议的交互过程。在基本协议的基础上完善各类问题获得了最终的议会协议。 为了让人更容易理解《The Part-Time Parliament》中描述的Paxos算法，Lamport在2001发表了《Paxos Made Simple》，以更平直的口头语言描述了Paxos，而没有包含正式的证实和数学术语。《Paxos Made Simple》中，将算法的参与者更细致的划分红了几个角色：Proposer、Acceptor、Learner。另外还有Leader和Client.参考阅读:关于Paxos的历史

介绍:看这篇论文时能够先看看理解Paxos Made Practical.

介绍：PaxosLease：实现租约的无盘Paxos算法,译文.

介绍：Paxos算法实现,译文,同时推荐42 Paxos Made Moderately Complex.

介绍：Hadoop学习清单.

介绍：Hadoop学习清单.

介绍：NoSQL知识清单,里面不只仅包含了数据库阅读清单还包含了分布式系统资料.

介绍：Raft可视化图帮助理解分布式一致性

介绍：Etcd分布式Key-Value存储引擎

介绍：理解peer-to-peer系统中的可用性到底是指什么.同时推荐基于 Peer-to-Peer 的分布式存储系统的设计

介绍：经典论文

介绍：并行处理的编程语音

介绍：此篇论文对HDFS,MooseFS,iRODS,Ceph,GlusterFS,Lustre六个存储系统作了详细分析.若是是本身研发对应的存储系统推荐先阅读此篇论文

介绍：分布式文件系统综述

  • 《Concepts of Concurrent Programming》

介绍：并行编程的概念,同时推荐卡内基梅隆FTP

介绍：并发控制性能建模：选择与意义

介绍：ebook分布式系统概念与设计

介绍：分布式系统设计的形式方法

介绍：互斥和选举算法

介绍：经典论文

介绍：如何构建一个安全可靠的分布式系统,About the Author,Bibliography:文献资料,章节访问把连接最后的01换成01-27便可

介绍：卡内基梅隆大学的分布式系统博士生课程主页,有很丰富的资料

介绍：Dapper，大规模分布式系统的跟踪系统,译文,译文对照

介绍：伯克利大学计算机系统进阶课程,内容有深度,涵盖分布式,数据库等内容

介绍：PB级分布式系统构建/扩展经验

介绍：伯克利大学计算机系统课程:操做系统与系统编程

介绍：MDCC主要解决跨数据中心的一致性问题中间件,一种新的协议

介绍：google公开对外发表的分布式系统与并行计算论文

介绍：分布式文件系统HDFS架构

介绍：分布式 Key/Value数据库

介绍：是著名的Ceph的负载平衡策略，文中提出的几种策略都值得尝试，比较赞的一点是能够对照代码体会和实践,若是你还须要了解能够看看Ceph:一个 Linux PB 级分布式文件系统,除此之外,论文的引用部分也挺值得阅读的,同时推荐Ceph: A Scalable, High-Performance Distributed File System

介绍：Surrento的冷热平衡策略就采用了延迟写技术

介绍：对于分布式存储系统的元数据管理.

介绍：服务器端的I/O协调并行文件系统处理,网络,文件存储等都会涉及到IO操做.不过里面涉及到不少技巧性的思路在实践时须要斟酌

介绍：分布式文件系统概念与应用

介绍：加利福尼亚大学的研究生操做系统课程主页，论文很值得阅读

介绍：Yahoo出品的流式计算系统，目前最流行的两大流式计算系统之一（另外一个是storm），Yahoo的主要广告计算平台

介绍：Google的大规模图计算系统，至关长一段时间是Google PageRank的主要计算系统，对开源的影响也很大（包括GraphLab和GraphChi）

介绍：CMU基于图计算的分布式机器学习框架，目前已经成立了专门的商业公司，在分布式机器学习上颇有两把刷子，其单机版的GraphChi在百万维度的矩阵分解都只须要2~3分钟；

介绍：这篇论文是Google 2013年发表的，介绍了F1的架构思路，13年时就开始支撑Google的AdWords业务，另外两篇介绍文章F1 - The Fault-Tolerant Distributed RDBMS Supporting Google's Ad Business .Google NewSQL之F1

介绍：CockroachDB ：一个可伸缩的、跨地域复制的，且支持事务的数据存储,InfoQ介绍,Design and Architecture of CockroachDb

  • 《Multi-Paxos: An Implementation and Evaluation》

介绍：Multi-Paxos实现与总结，此外推荐Paxos/Multi-paxos Algorithm,Multi-Paxos Example，地址:ftp://ftp.cs.washington.edu/tr/2009/09/UW-CSE-09-09-02.PDF

介绍：一致性协议zab分析

介绍：分布式哈希算法论文,扩展阅读Introduction to Distributed Hash Tables,Distributed Hash Tables

介绍：分布式hash表性能的Churn问题

介绍：分布式系统的CAP问题,推荐Perspectives on the CAP Theorem.对CAP理论的解析文章,PODC ppt,A plain english introduction to CAP Theorem,IEEE Computer issue on the CAP Theorem

介绍：闪存存储文件系统F2FS

介绍：微软发表的关于i/o访问优化论文

介绍：虚拟内存文件系统tmpfs

介绍：Linux B-tree文件系统.

介绍：Akamai是全球最大的云计算机平台之一，承载了全球15-30%网络流量,若是你是作CDN或者是云服务,这个里面的论文会给你颇有帮助.例如这几天看facebook开源的osquery。找到经过db的方式运维,找到Keeping Track of 70,000+ Servers: The Akamai Query System这篇论文，先看论文领会思想，而后再使用工具osquery实践

介绍：来自eBay 的解决方案,译文Base: 一种Acid的替代方案,应用案例参考保证分布式系统数据一致性的6种方案

介绍：Jim Waldo和Sam Kendall等人共同撰写了一篇很是有名的论文“分布式计算备忘录”，这篇论文在Reddit上被人推荐为“每一个程序员都应当至少读上两篇”的论文。在这篇论文中，做者表示“忽略本地计算与分布式计算之间的区别是一种危险的思想”，特别指出了Emerald、Argus、DCOM以及CORBA的设计问题。做者将这些设计问题概括为“三个错误的原则”： “对于某个应用来讲，不管它的部署环境如何，总有一种单一的、天然的面向对象设计能够符合其需求。” “故障与性能问题与某个应用的组件实现直接相关，在最初的设计中无需考虑这些问题。” “对象的接口与使用对象的上下文无关”.

介绍：分布式系统领域经典论文列表.

介绍：Consistent Hashing算法描述.

介绍：SIGMOD是世界上最有名的数据库会议之一,最具备权威性,收录论文审核很是严格.2016年的SIGMOD 会议照常进行,上面收录了今年SIGMOD收录的论文,把题目输入google中加上pdf就能找到,不少论文值得阅读,SIGMOD 2015

介绍:耶鲁大学的分布式系统理论课程笔记

介绍:分布式系统文档资源（可下载）

介绍:数据库系统剖析，这本书是由伯克利大学的Joseph M. Hellerstein和M. Stonebraker合著的一篇论文.对数据库剖析颇有深度.除此之外还有一篇文章Architecture of a Database System。数据库系统架构,厦门大学的数据库实验室教授林子雨组织过翻译

介绍:数据库关系模型论文

介绍:中国人民大学数据研究实验室推荐的数据库领域论文

介绍:构建可扩展的分布式信息管理系统

介绍:Haskell中的分布式系统开发

介绍:Google使用Borg进行大规模集群的管理,伯克利大学ppt介绍,中文版

介绍:并发编程（Concurrency Programming）资料,主要涵盖lock free数据结构实现、内存回收方法、memory model等备份连接 密码: xc5j

介绍:Nancy Lynch's的分布式算法研究生课程讲义

介绍:分布式算法主题模型.

介绍:世界上很是有名的推荐系统会议，我比较推荐接收的PAPER

介绍:推荐一个博客,博主是Amazon CTO Werner Vogels,这是一个关注分布式领域的博客.大部分博文是关于在工业界应用.

介绍:这个Git是由阿里(alibaba)的技术专家何登成维护,主要是分布式数据库.

介绍:Erlang的做者Joe Armstrong撰写的论文，面对软件错误构建可靠的分布式系统.中文译版

介绍:伊利诺伊大学的Advanced Distributed Systems 里把各个方向重要papers（updated Spring 2015）列举出来，能够参考一下

介绍:这是一本分布式算法电子书,做者是Jukka Suomela.讲述了多个计算模型,一致性,惟一标示,并发等.

介绍:当时是在阅读如何设计一个缓存系统时看到的，而后经过Google找到了这一篇关于缓存策略的论文，它是LFU的改良版,中文介绍.若是有兴趣能够看看Golang实现版。结合起来可能会帮助你理解

介绍:斯坦福大学给研究生开的分布式系统课程。教师是 spark 做者 matei. 能把这些内容真正理解透，分布式系统的功力就很强了。

介绍:[怎么学系列]学习分布式系统须要怎样的知识？

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程