基于消息隊列的分布式圖像處理系統(tǒng)的設計與實現.pdf

1、隨著大數據時代的來臨，分布式應用展現出新的前景;同時隨著圖片數量的劇增，在工程上和科研上出現了對于大批量的圖像的分布式處理新的需求。當前，Hadoop系統(tǒng)已經有了廣泛的使用，也出現了基于Hadoop的分布式圖像處理方案。大批量圖像處理這種計算密集型的應用也給分布式系統(tǒng)的設計帶來了一定的挑戰(zhàn)，Hadoop在這種應用中有其自身的不足之處，本文新設計了一個系統(tǒng)對此做了相應地改進。而傳統(tǒng)的分布式圖像處理系統(tǒng)，多數基于遠程過程調用和NFS實現，在

2、系統(tǒng)通信和存儲上存在先天的不足，本文不再做對比。
　　 本文設計了一個基于消息隊列的分布式圖像處理系統(tǒng)，系統(tǒng)各模塊通過精心設計的消息隊列的通信，實現了更加精簡和低耦合的計算框架。對于大批量圖像處理，相對基于Hadoop的實現，本系統(tǒng)計算框架減少了Map和Reduce任務之間的中間結果處理和網絡傳輸;基于消息隊列的計算框架設計，減少了系統(tǒng)各模塊之間的耦合性，使得功能和任務擴展更加容易。
　　 另外，本系統(tǒng)實現了自適應的任務

3、分配機制，能根據各主機先前任務的完成情況實時調整任務的分配，能及時有效調用所有工作主機的計算能力。本系統(tǒng)使用適用于小文件存儲的分布式文件系統(tǒng)FastDFS，使得任務的分解粒度精確到單個圖像文件，使任務更容易調度和恢復;另外，分配任務的時候優(yōu)先考慮工作主機本機上存儲的文件，能利用文件的本地優(yōu)勢，減少網絡傳輸。
　　 此外，本系統(tǒng)通過C/C++語言實現，提供了C/C++編程接口來支持本地語言的圖像處理庫（如OpenCV、ImageM