最新要闻

广告

手机

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

 警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

家电

  1. 首页
  2. 移动通信
  3. 内容

每日速看!HBase在进行模型设计时重点在什么地方？一张表中定义多少个Column Family最合适？为什么？

来源：博客园

锁屏面试题百日百刷，每个工作日坚持更新面试题。请看到最后就能获取你想要的,接下来的是今日的面试题：


(相关资料图)

1.Hbase中的memstore是用来做什么的？

hbase为了保证随机读取的性能，所以hfile里面的rowkey是有序的。当客户端的请求在到达regionserver之后，为了保证写入rowkey的有序性，所以不能将数据立刻写入到hfile中，而是将每个变更操作保存在内存中，也就是memstore中。memstore能够很方便的支持操作的随机插入，并保证所有的操作在内存中是有序的。当memstore达到一定的量之后，会将memstore里面的数据flush到hfile中，这样能充分利用hadoop写入大文件的性能优势，提高写入性能。

由于memstore是存放在内存中，如果regionserver因为某种原因死了，会导致内存中数据丢失。所有为了保证数据不丢失，hbase将更新操作在写入memstore之前会写入到一个write ahead log(WAL)中。WAL文件是追加、顺序写入的，WAL每个regionserver只有一个，同一个regionserver上所有region写入同一个的WAL文件。这样当某个regionserver失败时，可以通过WAL文件，将所有的操作顺序重新加载到memstore中。

2.HBase在进行模型设计时重点在什么地方？一张表中定义多少个Column Family最合适？为什么？

Column Family的个数具体看表的数据，一般来说划分标准是根据数据访问频度，如一张表里有些列访问相对频繁，而另一些列访问很少，这时可以把这张表划分成两个列族，分开存储，提高访问效率。

整体来说, 通常建议越少越好, 太多的列族会影响我们整个hbase的读写效率,导致读取一行数据需要跨越更多的列族(底层跨越更多的内存页和文件)

3.如何提高HBase客户端的读写性能？请举例说明

1 开启bloomfilter过滤器，开启bloomfilter比没开启要快3、4倍

2 Hbase对于内存有特别的需求，在硬件允许的情况下配足够多的内存给它

3 通过修改hbase-env.sh中的export HBASE_HEAPSIZE=3000 #这里默认为1000m

4 增大RPC数量通过修改hbase-site.xml中的hbase.regionserver.handler.count属性，可以适当的放大RPC数量，默认值为10有点小。

4.HBase集群安装注意事项?

① HBase需要HDFS的支持，因此安装HBase前确保Hadoop集群安装完成；

② HBase需要ZooKeeper集群的支持，因此安装HBase前确保ZooKeeper集群安装完成；

③ 注意HBase与Hadoop的版本兼容性；

④ 注意hbase-env.sh配置文件和hbase-site.xml配置文件的正确配置；

⑤ 注意regionservers配置文件的修改；

5 注意集群中的各个节点的时间必须同步，否则启动HBase集群将会报错；

5.请描述如何解决HBase中region太小和region太大带来的冲突？

Region过大会发生多次compaction，将数据读一遍并重写一遍到hdfs 上，占用io，region过小会造成多次split，region 会下线，影响访问服务，最佳的解决方法是调整hbase.hregion. max.filesize 为256m。

6.Hbase是怎么进行预分区操作?

解: 在Hbase中主要有二种预分区方案, 一种为手动预分区, 一种为自动预分区, 手动预分区指的是我们在建表的时候, 通过命令或者的API进行预分区操作, 在手动分区下, 我们可以自定义分区, 也可以基于hbase提供的分区算法来实现, 分区后, 多个region会被master分配到不同的regionServer上进行管理, 从而保证负载均衡. 而自动预分区则指的是, 随着我们表中数据越来越多 当表中数据, 也就是region中数据达到一定的阈值后, 会自动进行分区, 阈值的多少取决于下面的这个公式来计算:

全部内容在[git](https://gitee.com/zjlalaforgit/interview)上,了解更多请点我头像或到我的主页去获得，谢谢

关键词：