建站
咨询
售后
建站咨询
这篇文章主要讲解了“MapReduce默认分区Hash Partitioner怎么使用”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“MapReduce默认分区Hash Partitioner怎么使用”吧！
黄石港ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景，ssl证书未来市场广阔！成为创新互联公司的ssl证书销售渠道，可以享受市场价格4-6折优惠！如果有意向欢迎电话联系或者加微信：18982081108（备注：SSL证书合作）期待与您的合作！
1，mapreduce默认的分区方式
默认分区的源码
public int getPartition(K2 key, V2 value,int numReduceTasks) { return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;} key.hashCode()，是对map输出的key取hashCode值
&是java中与运算符，即按照二进制的理解就是同为1则1，否则为0
Demo:
public class test{public static void main(String[] args){int a = 129int b = 128System.out.println(a&b); // 128}}/*解析："a"是129，转换成二进制是：10000001"b"是128，转换成二进制是：10000000按照&与的特性：1与1为11与0为0so，结果：10000000 即128*/
所以，key.hashCode()&Integer.MAX_VALUE是要保证任何map端输出的key与numReduceTashs取模后决定的分区为正整数
2，常见数据的hashCode值
1，int类型的数值
public void test(){ for ( int i = -3 ; i <=3 ; i++ ){ System.out.println(((Integer)i).hashCode) }}/*-3-2-10123*/ 由此可见，对于int数据而言，它的hashCode值就是其包装类型Integer本身，也有正负之分。
2，解决int类型数据hashCode值取模出现负数而影响分区的方式
public void test(){ for ( int i = -3 ; i <= 3 ; i++){ int n = (Integer(i)).hashCode(); System.out.println( n & Integer.MAX_VALUE); }}/*2147483645214748364621474836470123*/ 由此可见，hashCode值如果是负数的话，可以对其与Integer.MAX_VALUE按位运算，之后其结果变成**正数**
3，字符类型的hashCode值
public void test(){ for(int i = (int)'a'; i<=(int)'a'+25;i++ ) { String str = String.valueOf((char)i); System.out.print((char)i+"->"+str.hashCode()+"\n");}/*a->97b->98...x->120y->121z->122*/ 由此可见，英文a->z或A->Z的hashCode值就是其对应的整型数值
感谢各位的阅读，以上就是“MapReduce默认分区Hash Partitioner怎么使用”的内容了，经过本文的学习后，相信大家对MapReduce默认分区Hash Partitioner怎么使用这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是创新互联，小编将为大家推送更多相关知识点的文章，欢迎关注！
文章题目：MapReduce默认分区HashPartitioner怎么使用
转载注明：http://lswzjz.com/article/iehcpj.html
