基于Hadoop平臺(tái)的高危人群關(guān)系分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著公安部門信息化的發(fā)展，公安信息系統(tǒng)中積累了大量有價(jià)值的數(shù)據(jù)信息資源。但是，目前對(duì)于這些數(shù)據(jù)的利用大多還處于簡(jiǎn)單的查詢、統(tǒng)計(jì)階段，這種初級(jí)水平的應(yīng)用已經(jīng)不能適應(yīng)現(xiàn)時(shí)所需。數(shù)據(jù)挖掘技術(shù)可以從大量的、模糊的、有特征的數(shù)據(jù)中挖掘出事先未知的但又是潛在有用的規(guī)律和關(guān)系。為了從大量的警務(wù)數(shù)據(jù)中提取出對(duì)警務(wù)決策、預(yù)防犯罪、打擊犯罪有用的信息，開(kāi)發(fā)基于數(shù)據(jù)挖掘的高危人群關(guān)系分析系統(tǒng)。
　　本課題來(lái)源于黑龍江省公安廳科技信息處，是該部門數(shù)據(jù)分析

2、平臺(tái)中的核心模塊高危人群分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。本文分析了系統(tǒng)的功能性需求以及對(duì)應(yīng)業(yè)務(wù)的數(shù)據(jù)形式。為了適應(yīng)海量數(shù)據(jù)的運(yùn)算處理，搭建 Hadoop集群進(jìn)行數(shù)據(jù)存儲(chǔ)并構(gòu)建分布式集群運(yùn)算系統(tǒng)。給出了系統(tǒng)的主要業(yè)務(wù)功能的詳細(xì)設(shè)計(jì)，對(duì)系統(tǒng)具體實(shí)現(xiàn)過(guò)程和測(cè)試過(guò)程進(jìn)行了詳細(xì)的闡述。
　　在功能上，系統(tǒng)主要將公安系統(tǒng)內(nèi)部數(shù)據(jù)、社會(huì)數(shù)據(jù)集中利用采集，提取有效數(shù)據(jù)，深度挖掘數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，針對(duì)同航班、同火車、同住宿、同上網(wǎng)等多同關(guān)系進(jìn)行分析計(jì)算，實(shí)

3、現(xiàn)高危人員關(guān)系的深度挖掘。
　　在性能上，搭建Hadoop集群，采用分布式存儲(chǔ)方式，有效解決海量數(shù)據(jù)存儲(chǔ)瓶頸以及大幅提高運(yùn)算效率；
　　在技術(shù)上，系統(tǒng)應(yīng)用層程序使用java語(yǔ)言編寫(xiě)，采用SpringMVC作為基礎(chǔ)框架，前端框架使用BootStrap框架實(shí)現(xiàn)響應(yīng)式布局，拉斐爾關(guān)系圖譜使用重新封裝的 reaheal.js插件。系統(tǒng)的數(shù)據(jù)從采用 Hadoop集群作為數(shù)據(jù)存儲(chǔ)與處理的平臺(tái)。系統(tǒng)使用 Hbase作為系統(tǒng)數(shù)據(jù)庫(kù)，使用 P