登录社区云,与社区用户共同成长
邀请您加入社区
做大数据项目常常需要与Spark、Yarn、Livy以及它们的Web界面打交道,来查看错误日志、分析性能瓶颈等。但最初总是分不清楚三者的区别,也不理解每一个UI侧重展示的信息,以及如何利用这些信息等。因此本文结合笔者自身的经验在此进行一些总结。
例如,线程创建从new Thread(new Runnable(){...})简化为new Thread(() -> System.out.println(Hello)),代码行数减少60%以上。例如处理用户列表时,users.stream().filter(u -> u.getAge() > 18).map(User::getName).collect(Collectors.toList())一