近年来,随着物联网、大数据等技术的快速发展,公安机关掌握的数据资源越来越丰富,对于利用数据支撑业务工作的需求也日趋增强。
例如在公安业务场景中,民警会从多个信息系统中查询数据,并依据查询结果进行综合分析,做出判断。如何实现这一操作?传统的方式是民警通过层层审批登录各个相关信息系统,进行数据导出、数据整理、数据整合,最后进行数据的综合展现。这种传统方式,无论是办事效率还是人力成本上,都难以跟上社会发展的演进速度及需求。
对此,公安民警可以借助建设定制化数据融合模型,针对各渠道提供的数据,开展基于业务逻辑的建模、将数据封装成各个应用模块,实现数据融合、用户标识查询、轨迹分析、围栏圈定、围栏预警、同行人分析、人车码识别等模型,并把结果提供给前端应用。
以广州某区公安项目为例。
睿帆科技基于公司自主研发的分布式分析型数据库雪球db以及大数据科学平台baymax产品,通过“三步走”层层推进,进行模型搭建,为该区公安民警业务提供强有力的大数据支撑。
一、ods层:接入厂商采集的数据源,数据存放在雪球数据库。
接入由厂商采集的三大数据源:特征采集日志、场所资料、场所状态、设备资料;加强型wifi、卡口车辆;网吧、终端特征、终端上线、终端下线,并将其存放在雪球数据库中。通过数据库及表操作、表引擎、聚合函数、分析查询、数据字典及视图管理,进行在线多维查询和分布式存储,实现高并发支撑,轻松支撑上百人同时查询;高容错机制,支持跨中心多剧本灾备,数据自动同步、自动恢复;准实时数据更新,百亿级数据可进行实时全景分析;超低查询时延,百亿级数据毫秒级查询等功能,数据超高的压缩比,大大节省了硬件成本。
二、baymax平台层:数据流程计算,模型实现。
借助大数据科学平台baymax,围绕多源异构的海量数据入、存、管、出四个核心场景,提供数据采集、数据汇集数据接入、数据存储等功能,实现各信息数据源的统一汇集、集中存储;通过数据管理、数据质量分析等数据治理,留存原始数据,构建基础原始数据储存,从而落地数据标准,提升数据质量及信息关联分析,形成数据的融合过滤。
三、dm层:模型结果
经过ods层及baymax平台层的处理,形成了dw数据融合模型。融合模型是把数据按人物、时间、地点融合在一起,在融合过程中,若碰到部分数据无法进行融合时,如数据中mac地址有一部分是虚假(认为是随机生成的mac地址)的,这是便需构建一个mac地址识别模型,使得上网数据,认为mac地址的真实的。在此基础上,同时配合baymax,进行数据模型算法处理,抽取转换,最终输出6大应用模块。
l 用户标识查询模型
对查询标识:mac地址、手机号、身份证号、微信号、qq号,按图谱原理进行查询,最终以表的形式返回结果。
l 用户轨迹分析模型
对人物标识活动时间轴、人物活动范围,输入关键信息:人物标识、时间段,按时间位置经纬度处理,画出人物活动的最大多边形,得到边界坐标连结顺序坐标,返回结果。
l 围栏圈定模型
根据输入条件:经纬度坐标组,以同上多边形规则进行圈定。
l 围栏预警模型
根据选定的重点区域,确定该区域中设备id或者场所id组得到位置坐标组。同上述多边形圈定规则,对关注人物进入重点区域后进行预警。
l 同行人分析模型
针对网吧和住宿类场所分析,对重点人物身份标识id,输出结果。
l 人车码识别模型
在融合数据中提取数据与车辆数据表进行关联,实现人车码的识别配对。
公安业务的复杂性及数据来源种类的多样性,导致公安数据融合与深度挖掘的难度成倍增加。而数据融合模型的搭建,打破了业务信息壁垒,实现多维数据的汇集、存储、整合,为公安业务的工作质量和效率打下坚固基础,提供强有力的数据支撑。
随着云基础设施环境逐步成熟,数据标准化程度越来越高,数据融合模型在时代的演变中脱颖而出,数据融合应用需求迎来质的转变。作为国内拥有pb级数据处理核心技术的大数据产品及pg电子娱乐平台赏金女王的解决方案供应商,睿帆科技将持续深耕大数据核心技术领域,通过创新技术,为更多行业提供定制化数据模型的搭建,实现数据融合,助力提升工作效能。