摘要:主要研究大数据技术在公安刑侦行业案事件系统建设中的应用,通过分析当前大数据技术,如视频结构化,视频目标提取,人、事、物多维数据分析,建立有助于公安刑侦破案、公共安全防范的专用案事件系统。该系统主要将采集的所有线索、视频数据、人员数据、案件数据按公安部下发规范进行统一的分类建库,同时基于案事件系统进行案件侦查流程再造,为公安部门提供案件研判、智能串并案分析、标签全局检索以及案件预警等功能,使案件侦查等工作在大数据技术下变得更为迅速准确,打造“查的准、打击快”的警务新应用,提高民警破案率,增加民众安全感。
关键词:大数据 案事件系统 线索研判 案件侦查
引言
在大数据时代,公安数据呈现出海量化、多样化和价值化的特点,如何在海量数据中获取并筛选有价值的信息,对警务资源整合、警务流程再造、警务模式创新、降低警务成本、提升警务效能具有重要的推动作用。前沿技术的应用可以让公安警务工作由数量规模型向质量效能型,由人力密集型向科技智能密集型转变,从而把传统的公安战斗力模式转变到以大数据为武器的高新技术上来,推动将大数据优势转化为公安决策优势、治安优势,提高公安战斗力。
随着我国经济的快速发展,社会治安面临新的挑战,传统的案事件系统已经不适应时代发展和社会治理的需求。智慧公安紧随大数据时代的发展脚步.创新公安应用,以互联网、大数据、视频技术、数据挖掘、知识管理等为技术支撑,以公安信息化为核心,通过互联化、智能化的方式,促进公安案事件系统各个功能模块高度融合、协调运作,实现警务信息“强度整合、高度共享、深度应用”之目标的警务发展新理念和新模式。
一、基于大数据的智能案事件系统建设
智能案事件系统总体架构由应用层、服务层、数据层、接入层四部分组成。
(一)接入层
主要负责接入公安视频监控系统、交通卡口视频监控、电子警察等前端采集设备或系统采集的数据及第三方平台采集的数据,同时负责数据资源的汇聚及采集。
(二)数据层
通过接入层接入的数据进行数据分类建档,同时还可接入公安信息资源库和第三方信息资源库,如驾管库、常住人口库等大数据库,为数据处理层提供丰富数据资源。
(三)服务层
服务层主要为上层应用提供服务,基于大数据技术提供检索和分析服务。其中大数据检索服务包括对数据治理整合后的全文检索服务以及对数据标签的检索。大数据分析服务包括对业务数据的统计分析、经验总结、自主学习及模型化构建,通过模型计算为上层应用提供支撑,并根据应用效果不断修正模型及参数。
(四)应用层
应用层主要为用户提供针对案件研判、串并案分析、标签全局检索、案件预警等具体应用功能。
1. 底层支撑视频图像大数据系统建设
视频图像大数据系统(简称“视图库系统”)依托视频专网和公安信息网分级建设。所有接入数据均严格按照《视频图像信息数据库系统技术规范修订稿》进行汇集、整合。部署在视频专网内的视频图像信息数据库,主要用于视频图像信息的采集接入和预处理。部署在公安信息网内的视频图像信息数据库,主要存储结构化文本信息以及同案件相关的视频片段、图片等相关信息,主要为案事件系统提供大数据服务支撑。
(1)全厂家全品类数据对标适配
在数据对标方面,目前解析厂家提供的解析数据普遍存在不完整的情况,符合率通常低于30%,对字段的表述方式以及同一字段值域的理解,解析厂家和《视频图像信息数据库系统技术规范修订稿》标准存在较大偏差,因此,各县市区的视频图像结构化数据需要和标准进行比对和校验,对于数据不符合标准的,系统拒绝接收该数据,并反馈不符合标准的数据字段和属性值。当数据经过修改之后重新进行校验,确认符合标准之后再进入公安网视频图像信息数据库。
(2)数据治理和转换
首先,对汇聚数据需进行脏数据的清洗和转换,其次,需检查数据一致性,并处理无效值和缺失值,对重复性数据进行去重、分组和聚合。
(3)实时入库
系统的入库功能主要实现结构化与非结构化数据相分离的模式进行。在网络上将非结构化数据的存储、分析、结构化过程与结构化数据的应用、调取相分离。集群将结构化数据统一存储、处理后,传入公安网内。公安网对结构化数据进行应用。对于非结构化数据的应用需求,则通过调取的方式进行查阅。这样可以减少存储资源的浪费并能降低非结构化数据传输带来的网络带宽压力。
(4)大数据检索服务集合
系统对外提供统一的符合标准的大数据检索接口集合,主要涵盖采集设备、采集设备状态、采集系统、采集系统状态、视频卡口、车道、机动车、非机动车、视频片段、图像、文件、人员、订阅、通知、联网服务器、系统时间、系统状态、时钟服务器、对象列表、应答状态、注册对象、保活对象、注销对象、应用平台对象、分析系统对象等。
2. 基于大大数据的智能案事件系统建设
(1)基于大数据的标签系统
随着大数据系统中各类数据越来越多,需要一种有效手段将系统中的各类数据进行有效的关联分析。在现有条件下,只能实现对单一种类数据的检索、统计、分析,无法对多个种类的数据进行关联性搜索及分析。开发该系统的目的是串联各类数据,包括人、车、物、案事件、场景等,实现多种数据类型的关联检索及关联性分析等目标。该系统的主要功能包括:基于标签的多种数据类型快速检索、基于标签的智能联想、基于标签的数据分析等功能。标签系统分为三层设计:标签数据接入、标签数据业务、标签数据应用。
标签数据接入数据来源为视图库中的数据。案事件数据主要有案件业务描述数据及线索数据组成。通过视图库对原始数据进行加工清洗,过滤掉无效、重复、异常数据。数据接入分布式消息队列增强数据吞吐能力及订阅分发能力,利用全文检索组件实现对标签的检索及服务。数据业务层主要是创建标签实例。按照案事件需求,将所需要的数据打上标签。本方案采用基于Cloudera的solrCloud存储标签。新增标签时,可以通过多值字段增加新的标签,也可以通过DynamicFileds增加新的标签类型。SolrCloud的引入,确保了大数据标签检索的实时性。
数据应用层主要是由业务人员协助,聚合已有数据,构建标签系统应用场景。目前标签类型共分为两大类。一是自动标签,二是手动标签。自动标签是数据在Kafka集群上往solr标签存入时,结合案事件相关信息,自动将案件打上标签;手动标签是用户在Web页面上,将自定义的标签打入到案件上。标签应用的最基本的功能是标签的录入与展示;用户可以随时为一个案件打标签,每个案事件都会显示系统分配的标签。标签系统的检索是其重要功能,比如检索持刀抢劫标签,就会将案件类型是此类的相关案件检索出来。此功能得益于solr的快速索引与全文检索功能。同时,标签系统将案件重要属性打了标签之后,可以对案事件串并案提供有效的支撑,具体见下文中的案事件串并。
(2)基于大数据的案事件自动串并系统
串并案是公安工作的重要组成部分,有助于提高破案率及节省人力物力。现有的串并案工作是通过人工的方式进行的,由于案事件的数量庞大,又缺乏有效手段进行多人协作,所以会存在信息缺失及效率低下的问题。从传统案事件串并案功能的实际情况看,使用频率不高,最根本的原因可能是该项工作耗时费力难以出成果。
目前案事件信息已存储在视图库中,依托大数据分析手段.可对案事件信息从多个数据维度进行有效的关联性分析,实现自动化的案件串并及关联性分析。该系统的主要功能包括:案件自动串并、类案快速关联检索、类案统计分析等。
案事件串并案主要分为三个环节:数据接入、数据分析挖掘和应用展示。
数据接入来源主要是视图库,主要来源是相关业务系统的案件、线索、视频结构化等信息。建立数据仓库,使用ETL工具将数据整合到数据仓库中。在数据仓库中将数据进行清洗、转换、建模。
数据分析挖掘通过业务人员的协助,建立案事件大数据模型,形成串并案、案件嫌疑车、嫌疑人等功能。目前适用于公安业务的算法主要有聚类、协同过滤、关联规则分析、回归等,下文列举部分应用场景:
串并案功能的实现主要是依靠聚类分析。对库中已经发生的案事件,建立案事件空间向量矩阵。聚类操作后,相似的案件即为一串案事件。其次,通过标签的检索功能也能得到类似案件,对两种方法得到的案件归并后,最终形成串并案功能。用户在界面上选取一个案件,点击串并案功能时,将相似案件返回,并附上每个相似案件的相似度、相似项等信息。
通过分类回归分析,可以有效帮助确定嫌疑人员、车辆,为案件侦破提供支撑。用户在界面选取一个案件时,点击嫌疑车辆、人员分析时,系统会给出嫌疑最大的车辆人员数据,可以点击查看嫌疑关系。
(3)基于大数据的案事件预警系统
案事件预警主要分为数据层、服务层、应用层。数据层数据来源主要为视图库,此外还包含人员、案件、物品信息等相关业务数据库。服务层主要是数据挖掘分析,采用数据挖掘算法,分析出潜在的犯案时间、地点人员。通过关联规则分析,结合当地案件数据形成疑犯库,将疑犯库人员进行重点监测。
二、应用成效
系统试运行3个月以来,接入案事件、警情等数据45万余条;上传视频等线索 1000余条:上传有效资料3000余条;串并案件40余次;协助破获案件100余起,在案件侦查等方面起到了重要作用。
2019年1月13日17时许,唐某将一辆黑色爱玛牌电动自行车停放在某小区车棚处,车头朝南,锁电锁和电机锁,14日13时许,发现该电动车被盗;2019年1月9日17时许,王某发现放在市府前街的灰色小鸟牌电动车被盗;2019年 1月14日8时17分,张某报案称,放在文昌商贸城西农村商业银行西侧胡同内的电动车被盗。
案发后,现场民警通过天网平台对三起案件的嫌疑人采集证据,将对应的线索证据上传至案事件系统对应的警情事件中。合成作战案事件库研判民警在第一时间看到上传线索后,对上传的证据进行分析,发现两个嫌疑人有相同的特征:男子,身穿蓝色冲锋衣,戴眼镜,斜跨皮包。研判人员将三个案件进行串并,通过三个案件的证据分析嫌疑人可能的落脚点,发现该嫌疑人一直在文昌农贸市场附近徘徊,通过蹲点,成功将该嫌疑人王某抓获,王某对犯罪事实供认不讳。合成作战民警通过将案事件库中的警情线索串并,确定嫌疑人落脚点,两个派出所、三起盗窃案件同时告破。
三、结语
案事件智能化管理是公安机关业务发展的方向,是新信息时代下综合前沿技术在公安业务领域的探索和尝试,它必将促进公安机关案事件管理水平的提升,推动公安业务不断向规范化、智能化迈进,解放警力的同时提升工作效能。侦察破案、安保维稳作为公安机关工作的核心,率先实现智能化管理,必将撬动全业务的智能化进程,从而推动智慧公安发展浪潮向前发展,为和谐社会建设奠定基础,为经济社会高速发展保驾护航。
参考文献
[1] 公安部. GAT_1400.3-2017 公安视频图像信息应用系统_第3部分:数据库技术要求,2017.
[2]公安部计算机与信息处理标准化技术委员会.公安警卫基础工作信息数据结构(GA/T 705_2007),2007.
[3]朱定局.视频大数据智慧计算方法.科学出版社,2018(02).
[4]杨彬.大数据分析技术的研究[J].电子测试,2017(21):123,124,128.
[5]覃兵文. 大数据的分类挖掘优化技术[J].现代电子技术,2017(24):34.
[6]池云仙,赵书良,罗蕉等.基于词频统计规律的文本数据预处理方法[J].计算机科学,2017(10):276,282,288.
(本文来自《警察技术》2019年第5期,刘福仁 丁磊,作者单位:山东省烟台市公安局)
声明:本文来自警用科技,版权归作者所有。文章内容仅代表作者独立观点,不代表士冗科技立场,转载目的在于传递更多信息。如有侵权,请联系 service@expshell.com。