FirstKeyOnlyFilter :api中解释如下:
A filter that will only return the first KV from each row.
This filter can be used to more efficiently perform row count operations.
说的明明白白,只会取得每条数据的第一个kv,可以用于count,计算总数,速度很快
代码如下:
希望批评指正
public int getCount() { long bef = System.currentTimeMillis(); int i = 0; HTable tableKeyword = new HTable(conf,"tableName"); tableKeyword.setScannerCaching(500); ResultScanner rs = null; try { Scan s = new Scan(); s.setCaching(500); s.setCacheBlocks(false); s.setFilter(new FirstKeyOnlyFilter()); rs = tableKeyword.getScanner(s); } catch (IOException e) { log.warn(e); e.printStackTrace(); } for (org.apache.hadoop.hbase.client.Result r : rs) { i++ ; } long now = System.currentTimeMillis(); log.warn("keyword表中数据总数 :" + i + ", 所用时间 : " + (now - bef)/1000.0); rs.close(); return i; }
最好设置tableKeyword.setScannerCaching(500);
s.setCaching(500);
s.setCacheBlocks(false);这三个参数,否则速度会降下来很多
总的来说,可以节省很多时间
相关推荐
EXCEL2010常用函数使用技巧及实例,帮你精通EXCEL2010
excel sumproduct函数的使用方法及实例.docx
excelsumproduct函数的使用方法及实例PPT课件.pptx
excelsumproduct函数的使用方法及实例学习教案.pptx
GDB调试精粹及使用实例GDB调试精粹及使用实例GDB调试精粹及使用实例GDB调试精粹及使用实例GDB调试精粹及使用实例GDB调试精粹及使用实例GDB调试精粹及使用实例GDB调试精粹及使用实例GDB调试精粹及使用实例GDB调试精粹...
Curl工具,内含使用方法及实例。用来快速上传或下载文件。内核是通过DOS平台。
excelsumproduct函数的使用方法及实例PPT学习教案.pptx
关于 registerForActivityResult()的使用方法----使用跳转实例。 关于 registerForActivityResult()的使用方法----使用跳转实例。 关于 registerForActivityResult()的使用方法----使用跳转实例。 关于 ...
详细完整的HTML语言的各标签使用方法及实例,标签都全了,程序实例也有,有些还有运行成果截图,适合高,中,新手,写网页必备!
Matlab粒子群算法工具箱使用方法及实例演示.ppt
Iozone测试工具使用方法及实例说明(上传失败).docx
自己用过的kindeditor,有自己写的简单的使用文档,希望对大家有帮助
Matlab粒子群算法工具箱使用方法及实例演示PPT教案学习.pptx
94.java方法2实例.zip94.java方法2实例.zip94.java方法2实例.zip94.java方法2实例.zip94.java方法2实例.zip94.java方法2实例.zip94.java方法2实例.zip94.java方法2实例.zip94.java方法2实例.zip94.java方法2实例.zip...
STM32_V3.4固件库使用方法实例,使用的是ARM 的MDK4.14 开发环境
Java方法概念及实例;Java方法概念及实例;Java方法概念及实例;Java方法概念及实例;Java方法概念及实例
毛文炜老师的佳作,适合初级及中级光学/镜头设计者。文中有大量的实例,手把手的教大家从入门到进阶。
微软 SAPI.SpVoice C# 使用方法 + 实例
Qt5开发及实例