Java函数式编程(九)MapReduce

Published: 27 Mar 2014 Category: Java-functional-programming

译注：map（映射）和reduce(归约，化简）是数学上两个很基础的概念，它们很早就出现在各类的函数编程语言里了，直到2003年Google将其发扬光大，运用到分布式系统中进行并行计算后，这个组合的名字才开始在计算机界大放异彩（那些函数式粉可能并不这么认为）。本文我们会看到Java 8在摇身一变支持函数式编程后，map和reduce组合的首次亮相（这里只是初步介绍，后续还会有针对它们的专题）。

本系列文章译自Venkat Subramaniam的Functional Programming in Java

未完待续，后续文章请继续关注Java译站。

对集合进行归约

现在为止我们已经介绍了几个操作集合的新技巧了：查找匹配元素，查找单个元素，集合转化。这些操作有一个共同点，它们都是对集合中的单个元素进行操作。不需要对元素进行比较，或者对两个元素进行运算。本节中我们来看一下如何比较元素，以及在遍历集合过程中动态维护一个运算结果。

我们先从简单的例子开始，然后再循序渐进。在第一个例子中，我们先来遍历一下friends集合，计算出所有名字的总字符数。

System.out.println("Total number of characters in all names: " + friends.stream()
         .mapToInt(name -> name.length())
         .sum());

要算出所有字符的总数我们得知道每个名字的长度。通过mapToInt()方法可以轻松的完成这个。当我们已经把名字转化成了对应的长度之后，最后只需要把它们加到一块就行了。我们有一个内置的sum()方法来完成这个。下面是最后的输出：

Total number of characters in all names: 26

我们使用了map操作的一个变种,mapToInt()方法（这种的有mapToInt, mapToDouble等，会对应生成具体类型的流，比如IntStream，DoubleStream），然后根据返回的长度计算出总的字符数。

除了使用sum方法，还有很多类似的方法可以使用，比如用max()可以求出最大的长度，用min()是最小长度，sorted()对长度进行排序，average()求平均长度，等等。

上述这个例子还有一个吸引人的地方就是现在越来越流行的MapReduce模式，map()方法进行映射，而sum()方法是一个比较常用的reduce操作。事实上，JDK中sum()方法的实现用的就是reduce()方法。我们来看下reduce操作更常用的一些形式。

比方说，我们遍历所有的名字，然后打印出名字最长的那个。如果最长的名字有好几个，我们就打印出最开始找到的那个。一种方法是，我们计算出最大的长度，然后选出匹配这个长度的第一个元素。不过这样做需要遍历两次列表——效率太低了。这正是reduce操作上场的时候了。

我们可以用reduce操作来比较两个元素的长度，然后返回最长的那个，再和剩下的元素做进一步比较。跟我们之前看到的别的高阶函数一样，reduce()方法同样也是遍历了整个集合。除此之外，它还记录了lambda表达式返回的计算结果。有个例子的话可以帮助我们更好的理解这点，那我们先来看一段代码吧。

final Optional<String> aLongName = friends.stream()
         .reduce((name1, name2) ->
            name1.length() >= name2.length() ? name1 : name2);
aLongName.ifPresent(name ->
System.out.println(String.format("A longest name: %s", name)));

传给reduce()方法的lambda表达式接收两个参数，name1和name2，它会比较它们的长度，返回最长的那个。reduce()方法根本不知道我们要干什么。这个逻辑被剥离到我们传递进去的lambda表达式里面了——这是策略模式的一个轻量级的实现。

这个lambda表达式正好能适配成JDK中一个BinaryOperator的函数式接口的apply方法。这正是reduce方法要接受的参数类型。我们来运行下这个reduce方法，看看它能否正确地在两个最长的名字中选出第一个来。

A longest name: Brian

在reduce()方法遍历集合的过程中，它先对集合的前两个元素调用了lambda表达式，调用返回的结果继续用于下一次调用。在第二次调用中，name1的值被绑定成上次调用的结果，name2的值则是集合的第三个元素。剩余的元素也这样依次调用下去。最后一次lambda表达式调用的结果，就是整个reduce()方法返回的结果。

reduce()方法返回的是一个Optional值，因为传递给它的集合可能是空的。那样的话，也不存在什么最长的名字了。如果列表只有一个元素，reduce方法直接返回那个元素，不会对lambda表达式进行调用。

从这个例子中我们可以推断出，reduce的结果最多只可能是集合中的一个元素。如果我们希望能返回一个默认值或者基础值的话，我们可以使用reduce()方法的一个变种，它可以接收一个额外的参数。比如，如果最短的名字是Steve，我们可以把它传给reduce()方法，像这样：

final String steveOrLonger = friends.stream()
     .reduce("Steve", (name1, name2) ->
            name1.length() >= name2.length() ? name1 : name2);

如果有名字比它长的，那么这个名字会被选中；否则的话就返回这个基础值Steve。这个版本的reduce()方法不会返回Optional对象，因为如果集合是空的，会返回一个默认值；不用考虑没有返回值的情况。

在我们结束这章之前，我们再来看一下集合操作里面一个很基础的却又不是那么容易的操作：合并元素。

合并元素

我们已经学习了如何进行元素的查找，遍历，以及集合的转化。不过还有一个常见的操作——将集合元素进行拼接——如果没有这个新添加的join()函数的话，之前说的简洁和优雅的代码只能成为泡影了。这个简单的方法非常实用以至于它成为JDK里最常用的函数之一。我们来看下如何用它来打印列表中的元素，用逗号进行分隔。

我们还是用这个friends列表。如果用JDK库里的旧方法的话，想要打印出所有名字并用逗号隔开的话，要做哪些工作？

我们得遍历列表并且挨个打印元素。Java 5中的for循环比之前的有所改进，我们就用它吧。

for(String name : friends) {
      System.out.print(name + ", ");
}
System.out.println();

代码很简单，我们看下它的输出是什么。

Brian, Nate, Neal, Raju, Sara, Scott,

该死，最后多出了一个讨厌的逗号（我们难道要怪最后的那个Scott?)。怎么能让Java别放一个逗号在这呢？不幸的是，循环会按步就班的执行，想让它在最后特殊处理一下可不容易。为了解决这个问题，我们可以用回原来的那种循环方式。

for(int i = 0; i < friends.size() - 1; i++) {
      System.out.print(friends.get(i) + ", ");
}
if(friends.size() > 0)
      System.out.println(friends.get(friends.size() - 1));

我们来看下这个版本的输出是不是OK。

Brian, Nate, Neal, Raju, Sara, Scott

结果还是不错的，不过这个代码就不敢恭维了。救救我们吧，Java。

我们不用再忍受这种痛苦了。Java 8里的StringJoiner类帮我们搞定了这些难题，不止如此，String类还增加了一个join方法方便我们可以用一行代码来替代掉上面那坨东西。

System.out.println(String.join(", ", friends));

快来看下吧，结果跟代码一样令人满意。

Brian, Nate, Neal, Raju, Sara, Scott

在底层实现中，String.join()方法调用了StringJoiner类来将第二个参数传进来的值（这是个变长参数）拼接成一个长的字符串，用第一个参数作为分隔符。这个方法当然不止是能拼接逗号这么简单了。比如说，我们可以传入一堆路径，然后很容易的拼出一个类路径（classpath)，这可真是多亏了这些新增加的方法和类。

我们已经知道如何去连接列表元素了，在进行列表连接前，我们还可以先对元素进行转化，当然我们也知道如何使用map方法来进行列表转化了。接下来还可以用filter()方法过滤出我们想要的那些元素。最后一步的连接列表元素，用逗号还是什么分隔符，不过就是一个简单的reduce操作而已了。

我们可以用reduce()方法将元素拼接成一个字符串，不过这需要我们费点工夫。JDK有一个十分方便的collect()方法，它也是reduce()的一个变种，我们可以用它来把元素合并成一个想要的值。

collect()方法来执行归约操作，不过它把具体的操作委托给一个collector来执行。我们可以把转化后的元素合并成一个ArrayList。继续刚才那个例子，我们可以将转化后的元素，拼接成一个用逗号分隔的字符串。

System.out.println(
      friends.stream()
          .map(String::toUpperCase)
          .collect(joining(", ")));

我们在转化后的列表上调用了collect()方法，给它传入了一个joining()方法返回的collector，joining是Collectors工具类里的一个静态方法。collector就像是个接收器，它接收collect传进来的对象，并把它们存储成你想要的格式：ArrayList, String等。我们会在52页的collect方法及Collectors类中进一步探索这个方法。

这是输出的名字，现在它们是大写的，并用逗号隔开。

BRIAN, NATE, NEAL, RAJU, SARA, SCOTT

StringJoiner类让我们可以更灵活的控制集合连接的格式;我们可以指定前缀，后缀，或者中缀，怎样都行。

lambda表达式和新添加的方法及类让Java编程更得更加简单，惬意。我们来回顾下这章都讲了些什么。

总结

集合在编程中十分常见，有了lambda表达式后，Java的集合操作变得更加简单容易了。那些拖沓的集合操作的老代码都可以换成这种优雅简洁的新方式。内部迭代器使得集合遍历，转化都变得更加方便，远离了可变性的烦恼，查找集合元素也变得异常轻松。使用这些新方法可以少写不少代码。这使得代码更容易维护，更聚焦于业务逻辑，编程中的那些基本操作也变得更少了。

下一章中我们会看到lambda表达式如何简化程序开发中的另一个基本操作：字符串操作以及对象比较。

未完待续，后续文章请继续关注Java译站。

原创文章转载请注明出处：Java函数式编程(九)MapReduce