Hadoop Speculative Exetution 推測執行

Speculative Execution 推測執行, 在hadoop的各個節點中，如果因為負載不均衡的情況，造成某些繁忙或是因硬體故障發生效能問題的data node又接收到新的map reduce 需求，導致此需求執行變慢，然而hadoop不會自動診斷或是修復這些慢任務，而是透過Hadoop speculative execution的功能，會把緩慢的map作業(sub-task)丟到不繁忙的節點執行，且在執行完畢後，自動kill那些緩慢的map作業(sub-task)

Ref:

https://zhuanlan.zhihu.com/p/22348162

https://pdfs.semanticscholar.org/ae65/8fbe6f2defcbb449b3922207177466e75b98.pdf