我正在尝试使用10个节点和1个mapreduce tasktracker的cdh5 cloudera获得最大的网络性能，但似乎无法获得产生所需流量的流量。我有40g的网卡，目前最多只能得到10g的网卡，而且价格非常低。
当使用1 mapreduce tasktracker时，如何产生更好的性能和网络吞吐量？
正在运行--10节点redhat 6.6当前nic驱动程序cdh5内核：3.18.1
我已经停用了9个mapreduce tasktracker节点，但仍然没有得到很好的结果。
我正在尝试使用10个节点和1个mapreduce tasktracker的cdh5 cloudera获得最大的网络性能，但似乎无法获得产生所需流量的流量。我有40g的网卡，目前最多只能得到10g的网卡，而且价格非常低。
当使用1 mapreduce tasktracker时，如何产生更好的性能和网络吞吐量？
正在运行--10节点redhat 6.6当前nic驱动程序cdh5内核：3.18.1
我已经停用了9个mapreduce tasktracker节点，但仍然没有得到很好的结果。
1条答案
按热度按时间8gsdolmq1#
我最终发现，网络dfsio测试确实不需要数据节点上的任务跟踪器，所以我取消了所有datanode“任务跟踪器”的使用，并将任务跟踪器放在name节点上，现在我有了write/tx和read/rx通信量，这正是我想要的网络吞吐量数据。