HBase 分布式可伸缩大数据存储
说明
数据产品经理教程 正在编写中，欢迎大家加微信 gairuo123 （备注：数据产品教程） 提供意见、建议、纠错、催更。应大家要求，作者开办数据产品和数据分析培训班，详情 数据产品经理培训 / 数据分析培训。
HBase是一个分布式的、面向列的开源数据库。Apache HBase 是 Hadoop 数据库，一个分布式、可伸缩的大数据存储。HBase是依赖Hadoop，HBase是在HDFS的基础之上构建的，HDFS是分布式文件系统。该技术来源于Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。
简介
Hbase是一种NoSQL数据库，这意味着它不像传统的RDBMS数据库那样支持SQL作为查询语言。Hbase是一种分布式存储的数据库，技术上来讲，它更像是分布式存储而不是分布式数据库，它缺少很多RDBMS系统的特性，比如列类型，辅助索引，触发器，和高级查询语言等待。
HBase是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的BigTable建模，实现的编程语言为 Java。它是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，为 Hadoop 提供类似于BigTable 规模的服务。因此，它可以对稀疏文件提供极高的容错率。
HBase在列上实现了BigTable论文提到的压缩算法、内存操作和布隆过滤器。HBase的表能够作为MapReduce任务的输入和输出，可以通过Java API （页面存档备份，存于互联网档案馆）来访问数据，也可以通过REST、Avro或者Thrift的API来访问。
虽然最近性能有了显著的提升，HBase 还不能直接取代SQL数据库。如今，它已经应用于多个数据驱动型网站，包括 Facebook的消息平台。
特性
如下：
- 线性和模块化的可扩展性。
- 严格一致的读取和写入。
- 自动和可配置的表分片
- RegionServers 之间的自动故障转移支持。
- 使用 Apache HBase 表支持 Hadoop MapReduce 作业的便捷基类。
- 易于使用的 Java API 进行客户端访问。
- 用于实时查询的块缓存和布隆过滤器。
- 查询谓词通过服务器端过滤器下推
- Thrift 网关和支持 XML、Protobuf 和二进制数据编码选项的 REST-ful Web 服务
- 可扩展的基于 jruby (JIRB) 的外壳
- 支持通过 Hadoop 指标子系统将指标导出到文件或 Ganglia； 或通过 JMX
应用场景
Hbase不适合解决所有的问题：
- 首先数据库量要足够多，如果有十亿及百亿行数据，那么Hbase是一个很好的选项，如果只有几百万行甚至不到的数据量，RDBMS是一个很好的选择。因为数据量小的话，真正能工作的机器量少，剩余的机器都处于空闲的状态
- 其次，如果你不需要辅助索引，静态类型的列，事务等特性，一个已经用RDBMS的系统想要切换到Hbase，则需要重新设计系统。
- 最后，保证硬件资源足够，每个HDFS集群在少于5个节点的时候，都不能表现的很好。因为HDFS默认的复制数量是3，再加上一个NameNode。
Hbase在单机环境也能运行，但是请在开发环境的时候使用。
参考
- https://hbase.apache.org
- https://zhuanlan.zhihu.com/p/145551967
- https://www.jianshu.com/p/b23800d9b227
更新时间：2022-06-29 10:50:32 标签：hbase 大数据 存储
