一般，中型公司的大数据平台，hadoop几个节点

可以这样算，首先你要知道这个公司的数据量有多大，比如说有20pb，一般情况下，文件副本设置为3，那么就是60pb,这时候看电脑硬盘多大，然后用60pb除以单个硬盘的大小，得到的结果就是从节点的个数，为了以防万一，在这个节点数的基础上再多加几台。主节点的机器配置要求就比较高了，内存，硬盘之类的要比从节点好太多，主节点一般是一台，如果为了避免单点故障也就是主节点突然挂了，可以使用ha机制再增加一台主节点备用，这样一旦主节点出现问题，另一台主节点能立刻工作，不会出现数据丢失！

Hadoop中有很多方法可以加入多个数据集。MapReduce提供了Map端和Reduce端的数据连接。这些连接是非平凡的连接，并且可能会是非常昂贵的操作。Pig和Hive也具有同等的能力来申请连接到多个数据集。Pig提供了复制连接，合并连接和倾斜连接（skewed join），并且Hive提供了map端的连接和完整外部连接来分析数据。

一个重要的事实是，通过使用各种工具，比如MapReduce、Pig和Hive等，数据可以基于它们的内置功能和实际需求来使用它们。至于在Hadoop分析大量数据，Anoop指出，通常，在大数据/Hadoop的世界，一些问题可能并不复杂，并且解决方案也是直截了当的，但面临的挑战是数据量。在这种情况下需要不同的解决办法来解决问题。

一些分析任务是从日志文件中统计明确的ID的数目、在特定的日期范围内改造存储的数据、以及网友排名等。所有这些任务都可以通过Hadoop中的多种工具和技术如MapReduce、Hive、Pig、Giraph和Mahout等来解决。这些工具在自定义例程的帮助下可以灵活地扩展它们的能力。