【开源情报】美国情报企业如何为波士顿警察局获取社交媒体威胁提供技术和服务
2023-9-11 21:59:58 Author: mp.weixin.qq.com(查看原文) 阅读量:7 收藏

今天给大家推送的是美国Verint技术公司的一篇产品功能介绍,该产品将使波士顿警察局能够分析和调查从网络收集的开源信息以及潜在的其他来源信息,以便发现潜在的威胁和未来的趋势。

参照该说明书,我们也可以构建自己的开源情报系统。

为有效发挥开源网络数据的巨大潜力,并将其转化为可用的情报,情报机构必须处理大量结构化和非结构化信息;无法访问和未经索引的深入网络和暗网网络数据;各种应用程序、语言和媒体类型;以及调查暴露的持续风险。

Verint网络情报分析中心解决方案是一个工具,不断从多个开源网络源获取信息,提取和分析其中包含的信息。

Verint网络情报分析中心利用现有最先进的技术,简化了大量开源网络数据的集成,生成新的线索,跟踪负面影响者,从而优化调查过程。通过该解决方案的模块、可扩展架构和基于浏览器的用户界面,用户无需在部署解决方案时安装任何应用程序,因此可以将IT参与保持在最低水平。

Verint网络情报中心是专门设计的,考虑到了情报、执法和安全社区的独特要求。Verint网络情报分析中心将重点放在调查过程的保密性。系统拓扑和爬行算法的开发方式使得即使爬行的任务之一被暴露,调查的目标仍然隐蔽。

从数据协作和信息共享的角度来看,系统的开放式架构能够使用标准和专有协议与组织中的其他情报系统顺利连接。

与市场上许多其他开源网络情报解决方案不同,Verint网络情报分析中心提供了一个具有单一统一用户管理接口的端到端交钥匙解决方案,既可用于数据收集,也可用于数据分析。这种综合解决方案的好处远远超出了其各部分的总和——而不是系统模块之间的低效和易于出错的数据转换过程,综合方法提供了不同子系统之间的连续和自动交互,最终导致更相关的线索、关于感兴趣的主题和人员的更多细节和更快的获取情报。

开源网络情报的一些主要优点:

•绕过通信的加密挑战
随着IP通信加密的威胁成为现实,开源网络情报提供了新的未加密信息源,应该用于补充现有的遗留情报工具。
•不依赖于目标的通信手段或地理空间位置
不管目标如何或在哪里访问网络,开源情报工具都会收集和分析目标生成的开源数据。
•提供对目标历史数据的访问
与通常的截获方法不同,这种截获方法只有在发出逮捕令时才开始数据收集,开源情报工具可以建立目标在线活动的历史图景。
•通常不需要逮捕令和搜查证
在大多数国家,上载到公共互联网上的数据可供所有人使用,可以在没有逮捕令或法院命令的情况下进行调查和收集。
这些数据往往以不兼容的格式提供,其类型、结构、可用性、可靠性和价值各不相同,面对这些和其他挑战,情报机构努力处理大数据,在大海捞针。

多网络源大数据环境下的研究特点:
1.数据超载:面对来自公开、深入和黑暗网络上的网络和社交媒体活动的数据量不断增加,情报机构努力有效地收集、合并和提取可用信息。
2.数据可信度差:在大多数情况下,只有很少百分比的来访或现有数据实际与当前调查有关。将来自多个源的数据链接到任何特定实体是复杂的,因为单个个体可能在多个在线和物理位置上使用多个身份。情报通常只是部分信息——有时不可靠,有时相互矛盾,这取决于来源、可得性,甚至以前的解释。
3.全球化:犯罪与恐怖的全球化及其日益复杂化,不仅发生在物质世界,而且发生在虚拟世界,给调查人员带来了新的技术障碍:虚拟网络身份、加密、暗网和虚拟货币。
4.采取不同的调查方法:对于每一项调查,通过连接完全不同类型的网络数据可以找到真正决定性的线索,并且找到这些数据有时需要新的方法和灵活的工作流程。内容也有所不同——有时,每个嫌疑犯或事件都有特定的内容,有时,大量数据没有明确的方向。调查需要也影响工作要求:例如,它们是否适用于过去、现在或未来的事件,适用于已知事件和已知事件。未知/假设的犯罪,特定线索,或搜索大量数据。

Verint网络情报分析中心架构
1、网络情报收集模块
网络情报收集提供了一个独立、灵活、可伸缩的平台,用于提取网络内容,同时提供了用于操作监控的高级管理解决方案。该解决方案支持从几乎任何基于HTML的网站提取网络数据,提供网站专用爬虫、复杂的爬行功能和收集策略。该解决方案支持从Standard、深网(包括访问受密码保护的网站)、暗网信息收集。
解决方案的核心架构旨在满足政府机构的安全要求,包括:
•隐蔽收集功能
•网络分离
•访问私有内容
•进入暗网
网络情报收集管理大量的并行收集任务,并利用各种平台收集资源(虚拟代理、代理、爬虫),同时支持自动克服故障的机制。

用户行为仿真

浏览器仿真

克服错误信息和验证码

模拟人类行为

收集管理器

虚拟代理管理

代理管理

组合收集流程

监测管理可视化展示

2、Verint网络情报调查分析模块

Verint网络情报调查分析模块是专为便利情报调查人员的工作流程而设计的。它为用户提供了一套广泛的分析工具,从多个角度可视化和分析信息。这些工具包括快速和简便的一般问题工具、深入调查关系、地理空间、统计和行为联系和协会的专门工具、基于时间表的研究以及向同事和其他部门传播信息的报告和摘要工具。

这种功能丰富的工具组合可以帮助用户导航调查。一旦找到线索,用户就可以使用不同的物理、演绎和概念链接来从多个步骤中进行选择。这有助于用户和数据之间的"对话",使他们能够模拟不同的调查选择,即日常工作的本质。

Verint网络情报调查分析模块可以搜索系统中的所有文本内容,包括原始源内容和元数据、实体的内容和经过审查的内容,如分析员的分析和摘要。基于Unicode的文本索引允许它支持对所有字符集进行简单的文本搜索,从而支持所有语言。

简单、高级和结构化的搜索模式为用户提供一系列选项,以组合不同的搜索标准和过滤所有数据的选项,确保尽快识别所有相关实体、模式或链接。

Verint网络情报调查分析模块

Verint网络情报调查分析模块提供简单和高级的搜索功能,考虑所有标准,并支持布尔搜索选项(多个选择,和//排除操作符)、通配符、模糊搜索和语义搜索——所有这些都通过一个简单的搜索框用户界面访问。

可视化关系分析

Verint网络情报调查分析仪

Verint网络情报调查分析界面

调查报告

人员识别搜索功能能够快速获取来自世界各地的人员的个人信息,分析师可以通过提供人名、电话号码、电子邮件地址或社交账户名称来搜索数据,系统周期性地扫描网络并使用采集技术和使用预先实体解析算法,揭示某人的真实身份,信息返回可以包括姓名、电子邮件地址、电话号码、社会账户、图像、年龄、性别、工作场所、相关人员等。

分析结果集成

网络安全浏览器

专用且安全的网络浏览器是一个辅助工具,使分析人员能够使用精心编制的虚拟实体进行在线操作。网络安全浏览器附带各种调查工具,可以进行在线调查和特殊操作。

安全的手动提取网络内容

3、网络警报

网络警报是一个基于SaaS的网络应用程序,与社交媒体网络连接,以收集和确定地理位置和感兴趣的人的相关通信。该系统从Twitter、YouTube和Instagram等各种社交网络中监听、监视和提取数据。它还从主要新闻媒体和博客平台收集聚合信息。

当社交媒体通信发生在地理位置内的所选频道上并且具有指定的关键字时,该通信被保存用于在实况查询中查看。类似地,当感兴趣的人在社交媒体网络上张贴时,网络警报保存相关信息,使其可供网络警报用户查看。网络警报保存文本、照片和视频。

网络警报可以侦测高风险职位,帮助识别潜在的威胁和目标,防止犯罪和恐怖主义发生。除了收集相关的社交媒体通信外,网络警报还提供实时通知和分析选项来处理这些员额。

网络警报构建一个关联网络,该关联网络识别最接近感兴趣的人的人,为调查和评估提供额外的主题,并且关联子组识别共享公共链接的连接集群。

历史搜索提供了及时回溯和检索与事件有关的所有社交媒体内容的能力,使当局能够收集更多信息供调查,并找到证人和其他潜在目标。

网络警报监控广泛的社交媒体

网络警报用90种语言解析关键字,并支持多语言搜索。它还将信息翻译成90种语言,包括西班牙文、英文、葡萄牙文和法文。

网络警报使用地理围栏、复杂关键字标准(多个关键字组和排除关键字)以及地理关键字来定义多个实时监视查询:

地理围栏,包括圆、正方形或多边形。

关键词的布尔逻辑匹配能够过滤包含特定关键词或关键词组合的帖子。

排除关键字选项可以对包含所列关键字但不在所需上下文中的帖子进行预过滤。例如,单词“shot”可能在关键字组中,但是当与单词basket一起发布时,不值得提及。

•地理关键词通过使用"白宫"或"肯尼迪机场"等与地理相关的关键词,有助于纳入没有启用地点服务的职位。

通过初始查询中设置的顶部关键字(可用于列表视图和地图视图,但不用于单词云)、作者姓名、用户名、搜索项,从日期到日期,使用地点,即指具有用户最初在频道、语言和频道类型上发布的实际地理标记的帖子。

实时监控显示所选实时查询中的帖子的列表或地图,并且实时地用新结果不断更新。

基于帐户设置的高风险分类

基于预定义的高风险关键字被视为威胁的帖子被标记

网络警报可以精确定位一个帖子的确切位置,并且可以显示相应的街道视图。

词云显示了满足筛选标准的帖子中最频繁(顶部)单词的云视图,并且允许用户深入到相关帖子的列表视图中。这有助于确定共同主题,更好地理解哪些主题在社交媒体对话中最受欢迎。

用户历史

搜索一个人在Twitter、Instagram、Tumblr和Facebook页面上最后3200个帖子,以及YouTube上最后500个帖子。向下钻探允许用户查看该人的简介、单词云和风险得分,以及将该人标记为对象。

社交网络

网络警报通过在Twitter上发现、探索和分析某人的已知联系人及其群体关系来进一步分析某人的帖子。网络警报允许用户查看关联网络,然后向下钻取以查看连接的详细信息。该特征识别在主体的社交网络内更紧密连接的不同组。考虑到许多因素,包括位置,感兴趣的主题,追随者等。组中的所有成员都被赋予相同的颜色。这使得执法部门能够深入到群体中,并对用户进行评估,以便确定他们是如何联系的,例如团伙、同事或行动队。

网络警报能够实时持续监测受试者(感兴趣的人)TwitterYouTubeInstagramTumblrFacebook上的多个社交媒体账户可以与某个主题连接。在清单或地图中,以与对地理位置的实时监测相同的方式查看主题,并且可以对这些员额执行相同的操作。几个社交媒体账户可以链接到一个主题。

扫描进入系统的每个文本以识别实体,例如人、组织、位置、电话、号码信用卡、日期、URL、时间、电子邮件、宗教、国籍。

当发现实体时,系统能够使用实体和实体类型上的方面来搜索和过滤结果,并且提供所找到的实体的附加列表以便总结文本。

对每个帖子进行分析,以确定平均情绪,以及那些有积极情绪或消极情绪并相应地标注的帖子。

该系统允许用户查看一个人的关联子组,然后向下钻取以查看连接的细节。网络警报标识了主题社交网络中更紧密连接的不同子组。考虑到许多因素,包括位置,感兴趣的主题,追随者等。子组的所有成员都被赋予相同的颜色。这些分组可以代表具有相似性的节点/人,例如,帮派、朋友、家人、同事和队友。这通过发现关于目标群体内关系的有价值的智力而节省了数百小时的工作。组中的主节点也被标识为更大的圆圈,帮助可视化谁在网络中是重要的。还可以查看用户的联系人的位置。

影响图显示以围绕对象的同心布局可视化的影响球。它代表了网络所有成员之间的连接强度,当他们与主题交互时。这是通过计算图的每个节点的链路数来测量的。每个节点的连通性由三个特性来突出显示:大小、颜色和与节点主题的距离。

关系可能包括人际关系、参与事件、沟通联系、派生联系等等。调查人员还可以识别看似独立的实体之间的联系,例如,两个人可能有一个共同的联系人,在他们之间调解。

报告还提供了对目标网络活动的统计分析,包括用户名、社会警报、近期活动、主要兴趣清单及其网络活动和用户名的图表细目。

使用自动报告生成器,分析员可以生成关于被监控的案例、目标实体和网络账户的简要报告。这些报告包括各种各样的细节,如地理数据、链接分析地图、关于目标活动的统计数字等等。这些报告从Verint网络情报的数据库中提取信息,分析数据,并以高度易懂的格式呈现,任何情报客户端都可以轻松使用它们。报告还允许分析员进行快速和简单的编辑,分析员可以根据自己的需要添加自己的分析和编辑自动生成的内容。

网络情报分析案例界面

安全手动提取网络内容

虚拟代理管理

GIS基础图是OSM(OpenStreetMap),它包括全球地图

从项目规划阶段到执行、部署和持续支助服务的项目管理方法

整191页原文及机器翻译已上传知识星球

    长按识别下面的二维码可加入星球

    里面已有8000多篇资料可供下载

    越早加入越便宜

    续费五折优惠


文章来源: https://mp.weixin.qq.com/s?__biz=MzI2MTE0NTE3Mw==&mid=2651138733&idx=1&sn=aa8651dedff06a16fe2dd9abb2990c9d&chksm=f1af5d97c6d8d4816e9659c1dd0a991e09135866f180069ed67785e19830393623f984bf7408&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh