首页 » 机器学习实战 » 机器学习实战全文在线阅读

《机器学习实战》15.7 你真的需要MapReduce吗?

关灯直达底部

不需要知道你是谁,我可以说,你很可能并不需要使用MapReduce和Hadoop,因为单机的处理能力已经足够强大。这些大数据的工具是Google、Yelp和Facebook等公司开发的,世界上能有多少这样的公司?

充分利用已有资源可以节省时间和精力。如果你的作业花费了太多的时间,先问问自己:代码是否能用更有效率的语言编写(如C或者Java)?如果语言已经足够有效率,那么代码是否经过了充分的优化?影响处理速度的系统瓶颈在哪里,是内存还是处理器?或许你不知道这些问题的答案,找一些人做些咨询或讨论将非常有益。

大多数人意识不到单台机器上可以做多少数字运算。如果没有大数据的问题,一般不需要用到MapReduce和Hadoop。但对MapReduce和Hadoop稍作了解,在面临大数据的问题时知道它们能做些什么,还是很棒的一件事情。