分布式存储技术解读系列之一：Ceph| 架构进阶_米朵儿技术屋
但是如果是RBD的模式，尤其是小数据事务处理场景（例如关系数据库），由于对象可切分的粒度有限，横向并发读写的优势就发挥不出来了，而且现实业务场景当中的热点数据问题往往集中在某一部分小粒度的数据片上，很有可能压力会落到某个或者某几个OSD上。MON Daemon：三方面主要作用，首先是监控集群的全局状态（OSD Daemon Map、MON Map、PG Map、Crush Map），这里面包括了OSD和MON组成的集群配置信息，也包括了数据的映射关系。PG & OSD，1：M的映射关系。
标签： 分布式 ceph 架构
分布式存储系统 Ceph 介绍与环境部署_开源分布式存储系统_Java小小虫
Ceph是当前非常流行的开源分布式存储系统，具有高扩展性、高性能、高可靠性等优点，同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs)，Ceph在存储的时候充分利用存储节点的计算能力，在存储每一个数据时都会通过计算得出该数据的位置，尽量的分布均衡。Ceph 文件系统（CephFS），是建立在 Ceph 分布式对象存储的顶部， CephFS提供了最先进的、多用途、高度可用且高性能的文件存储在各种场景应用，包括共享home目录、FTP和NFS 共享存储等等。
标签： 分布式 ceph swift
RadosGW 使用详细说明_LlinCK
一、RadosGW 对象存储简介RadosGW 是对象存储(OSS,Object Storage Service)的一种实现方式，RADOS 网关也称为 Ceph 对象网关、RADOSGW、RGW，是一种服务，使客户端能够利用标准对象存储 API 来访问 Ceph 集群，它支持AWS S3和Swift API，rgw运行于librados之上，在ceph 0.8版本之后使用Civetweb 的 web 服务器来响应 api 请求，可以使用 nginx 或或者 apache 替代，客户端基于 http/ht
标签： linux 分布式 分布式存储 运维 ceph
ceph-deploy部署ceph集群_Jacket Li
[ ceph ] 基本概念、原理、架构介绍三种存储类型块设备：主要是将裸磁盘空间映射给主机使用，类似于SAN存储，使用场景主要是文件存储，日志存储，虚拟化镜像文件等。文件存储：典型代表：FTP 、NFS 为了克服块存储无法共享的问题，所以有了文件存储。对象存储：具备块存储的读写高速和文件存储的共享等特性并且通过 Restful API 访问，通常适合图片、流媒体存储。Cep...
标签： java 分布式 linux 大数据 redis-
城商行本地高可用建设实践与落地效果分享_银行 本地高可用_米朵儿技术屋
金融基础设施的改革和升级，在聚焦于金融云、大数据、AI等热点的投入的同时，也要在核心账务联机交易等传统生产系统的基础设施上不断优化，其中的存储架构在金融基础设施中处于重要的一环，影响着业务数据性能和数据可靠性等多方面，随着各类业务系统的上线、扩容以及应用系统分布式的改造和存储技术的进步，我行针对业务新要求，也进行了存储的升级优化和扩展。通过本次扩容，系统能保障高可用、高性能的同时，为不同业务提供最优访问路径和访问性能，适应了业务的多样变化，提升业务连续性。同时产品测试性能优秀，故障率低，三线研发团队强大。
标签： 分布式 架构 swift 
全能成熟稳定开源分布式存储Ceph破冰之旅-上_ceph 开源_IT小神
Ceph实现了分布式统一的存储，既支持对象存储、块设备存储还支持文件系统，不失为目前最成熟稳定的存储解决方案，本篇先了解传统存储问题和Ceph的优势，介绍总体架构和组成部分，说明官网文档部署和部署版本建议，了解几种部署方式，最后通过Cephadm快速部署一个简单暂无存储节点的集群，后续可以在此基础上进行高可用节点的和存储节点的扩缩容
标签： 开源 分布式 ceph
分布式数据仓库 HBase_Blue Protocol
HBase作为一个高可靠性、高性能、面向列、可伸缩的分布式数据库，提供海量数据存储功能，用来解决关系型数据库在处理海量数据时的局限性。
标签： bigdata 分布式 数据仓库 hbase
Hadoop-HDFS详解与HA，完全分布式集群搭建(细到令人发指的教程)_hadoop hdfs 搭建_毫无感情的dj
对HDFS细致到腋毛的讲解，包括HA，完全分布式集群搭建，以及让你打瞌睡的理论知识！
标签： hadoop hdfs 大数据 分布式 zookeeper
安装librdkafka和使用C语言操作kafka的范例_librdkafka 安装_Lion Long
一、安装librdkafka。二、开启kafka相关服务：启动zookeeper、启动Kafka、创建topic。三、c语言操作kafka的范例：消费者、生产者、生产者和消费者的交互。
标签： kafka c语言 分布式 中间件 后端
如何实现分布式锁_赫萝的红苹果
锁是为了解决多线程情况下，对于共享资源的访问安全问题。
标签： 分布式 数据库 java-
分布式锁 - Redisson的看门狗（watchdog）机制_redisson看门狗机制_提灯笼的鱼
本篇文章从Redisson的加锁（tryLock）入手，带大家由源码来了解一下watchdog的自动延迟加锁操作
标签： 分布式 java 缓存 
RabbitMQ延迟队列_rabbitmq 插件延迟队列_zoeil
介绍RabbitMQ的延时队列、延迟队列的优化以及以插件实现延迟队列
标签： rabbitmq 分布式 java-rabbitmq 后端 java
面试官：请说一下如何优化结构体的性能？_王中阳Go
10秒改struct性能直接提升15%，产品姐姐都夸我好棒和Go语言空结构体这3种妙用，你知道吗？得到了大家的好评。这篇继续分享进阶内容：结构体的定义，大家都很熟悉，想要定义出更节省内存空间的结构体，可不是一件简单的事。我们必须掌握Go的结构体内存对齐机制节省内存并提高性能。通过上文的原理讲解和案例分析，我们发现内存对齐机制并不复杂。将对齐系数小的字段，尽可能放在一起，尽量减少空白填充。掌握了内存对齐机制后，结构体Struct的优化，调整下字段顺序，效果立竿见影。
标签： golang java 面试 分布式 架构
一文看懂分布式存储架构_Java烟雨
目录一、集中存储结构二、分布式存储1 、分布式存储的兴起2 、分布式存储的重要性3 、分布式存储的种类和比较三、分布式理论浅析1 、一致性和可用性2 、数据分布3 、复制4 、分布式协议5、跨机房部署四、分布式文件系统1、 Google 文件系统（ GFS ）2、 Taobao 文件系统（ TFS ）3、 Fackbook Haystack 文件系统4、 CDN 内容分发网络五、分布式键值系统1、 Amazon Dynamo2、 Taobao Tiar3、 ETCD4 、产品选型比较（ Etcd ， Zo
标签： 分布式 架构 服务器 JVM java
分布式是大数据处理的万能药？_分布式和大数据的关系_叶秋学长
使用分布式集群来处理大数据是当前的主流，将一个大任务拆分成多个子任务分布到多个节点进行处理通常能获得显著的性能提升。因此，只要发现处理能力不足就可以通过增加节点的方式进行扩容，这也是很多拥趸者最朴素的想法。以至于当我们接触一项新的大数据处理技术往往首先问的就是支不支持分布式以及能支持多大规模的集群，可见“分布式思维”已经根深蒂固。那么分布式真是处理大数据的万能药吗？“万能”当然不可能。没有包治百病的灵药，任何技术都有其适用场景，分布式也一样。能否使用分布式技术解决处理能力问题，要结合任务的特点来看。
标签： 分布式 大数据 java
