ChatGPT革新开源情报工作：大语言模型人工智能在OSINT领域的优势详解

网络安全龙哥 2024-08-02 17:31:03 阅读 84

概述

OSINT是Open Source Intelligence的缩写，中文名为公开来源情报，是指从公开可用的信息中收集、分析和利用的情报。OSINT的历史可以追溯到第一次世界大战，当时美国和英国利用报纸、电台和电报等公开来源收集敌方的军事、政治和经济信息。在第二次世界大战期间，OSINT在情报工作中占据了重要地位，例如美国海军情报局通过收听日本广播获取了珍珠港袭击的预警。冷战时期，OSINT在对抗苏联方面也发挥了作用，例如美国中央情报局通过分析苏联的科技刊物、航空展览和卫星照片等公开来源评估了苏联的导弹能力。

在互联网出现后，开放数据有了全新的含义，而OSINT也具备了新的生命力，对OSINT情报分析师来说，开放数据的爆炸式增长带来了无限的机遇，同时也带来了巨大的挑战。互联网使得公开来源信息呈现爆炸式增长，包括各种媒体、社交网络、博客、论坛、数据库、地图、视频等。这些信息不仅涵盖了各个领域和层面，而且具有多语言、多媒体和多格式的特点。据IDC研究显示，过去十年中在线数据从大约7ZB增长至97ZB，从海量数据中提取挖掘可用信息和情报成为一个难题。在此背景下人工智能技术发展对开源情报工作会有哪些帮助？本文将围绕此问题展开探讨。

搜索引擎在OSINT领域的应用

互联网时代，搜索引擎能够帮助我们在海量数据中检索我们感兴趣的知识和信息，但同时也因此成为了一种良好的OSINT手段，常见的搜索引擎报告Google、Bing、Duckduckgo等。搜索引擎用于OSINT有以下几种场景：

网站或网络设备的信息收集：通过搜索引擎，可以获取目标网站或网络设备的基本信息，如域名、IP地址、服务器、操作系统、开放端口、漏洞、敏感文件等。人物或组织的信息收集：通过搜索引擎，可以获取目标人物或组织的基本信息，如姓名、年龄、性别、职业、教育、联系方式、社交账号、兴趣爱好等。事件或话题的信息收集：通过搜索引擎，可以获取目标事件或话题的基本信息，如时间、地点、原因、影响、参与者、评论、观点等。数据库或目录的信息收集：通过搜索引擎，可以获取目标数据库或目录的基本信息，如名称、类型、内容、结构、权限、访问方式等。图片或视频的信息收集：通过搜索引擎，可以获取目标图片或视频的基本信息，如来源、作者、日期、地点、主题、元数据等，也可以通过反向搜索，找到相似或相关的图片或视频。新闻或文章的信息收集：通过搜索引擎，可以获取目标新闻或文章的基本信息，如标题、作者、日期、来源、摘要、关键词等，也可以通过比较和验证，判断其真实性和可信度。代码或文件的信息收集：通过搜索引擎，可以获取目标代码或文件的基本信息，如语言、格式、功能、注释、作者、版权等，也可以通过分析和运行，测试其效果和安全性。

人工智能技术革新开源情报能力

（一）人工智能驱动的OSINT

随着人工智能技术的快速发展，开放数据世界的规模不再是一个不可逾越的挑战，而成为一种优势能力彻底改变信息分析的逻辑。人工智能对于OSINT有以下几方面的帮助：

人工智能能够提高OSINT的效率，通过自动化的方式，从海量的开放数据中快速地筛选、抽取、整合、存储和检索相关的信息，根据计算能力具备扩展性，而不受人力和精力的限制。人工智能能够提高OSINT的质量，通过智能的方式，对开放数据进行评估、验证、分析、推理、可视化和呈现，增加了信息的准确性、可信度、价值和意义，减少了人为的干扰和误差。人工智能能够拓展OSINT的范围，通过创新的方式，利用开放数据进行预测、预警、发现、探索、建模和优化，实现了信息的深度挖掘和应用。

人工智能在OSINT中有以下几种应用场景：

人工智能可以用于从开放数据中提取和分析人物、组织、事件、话题等信息，如使用自然语言处理（NLP）技术对文本进行命名实体识别、情感分析、关键词提取等。人工智能可以用于从开放数据中发现和预测潜在的威胁、风险、趋势等信息，如使用机器学习（ML）技术对数据进行分类、聚类、回归、异常检测等。人工智能可以用于从开放数据中建立和优化情报模型和系统，如使用深度学习（DL）技术对图像、视频、音频等进行目标检测、人脸识别、语音识别等。

由OpenAI公司在2022年11月推出的ChatGPT生成式AI具有强大的自然语言理解和生成能力，这对OSINT的帮助是非常巨大的。ChatGPT可以帮助OSINT人员快速整理出来自各种来源的结构化数据，节省时间并扩大操作范围。凭借其对公共互联网的广泛了解，通过针对性和创造性的查询可以挖掘广泛主题的情报信息。另外，ChatGPT改变了开源情报的获取模式，从原本基于搜索引擎等分散检索的方式转变为智能问答式，但如果结合搜索引擎对互联网的感知能力，ChatGPT对于开源情报挖掘的效果将会进一步放大。

（二）利用ChatGPT进行Docking

ChatGPT等大语言模型的创新能力对传统互联网OSINT技术和工具的使用带来新的可能。自然语言理解能力的提升有助于对情报需求的准确判断，根据特定的情报需求，ChatGPT能够生成合适的搜索查询、工具参数或脚本以提高情报收集的效率和准确性。

Google Dorking是一种利用高级搜索操作符在Google搜索引擎中进行信息检索的技术，也叫Google Hacking。可以帮助OSINT调查者快速过滤和优化搜索结果，找到相关的信息和内容，例如使用“site:”、“filetype:”、“intitle:”等操作符。好的dock语法可以帮助OSINT人员更快更全面地检索、收集相关情报信息。

DockSearch是一款Google Docking辅助工具，整理了常用的dock语法，近期他也集成了ChatGPT能力，可以通过问答的形式快速生成与目的相匹配的dock语句，提高OSINT效率。

（三）使用ChatPDF进行情报挖掘

ChatPDF是一个使用AI分析PDF文件的平台，可以让我们和PDF文件对话，快速提取文档信息或回答相关问题。它基于OpenAI公司的ChatGPT开发，只要上传PDF文件，它就会创建一个能够回答与文件内容相关的问题的AI聊天机器人。我们可以用ChatPDF来检索、搜索和总结PDF文件中的相关内容，帮助在更短的时间内了解重要信息。

（四）使用New Bing进行OSINT

New Bing是微软推出的一款大语言模型智能搜索引擎，利用大规模的预训练语言模型作为核心技术，来提高搜索引擎对自然语言的理解和生成能力，从而提供更准确、更丰富、更智能的搜索结果。在OSINT情报领域，大语言模型的搜索引擎相比传统的基于关键词匹配的搜索引擎，可以通过自然语言与用户聊天，了解用户需要收集和分析哪些类型、主题、来源的信息，这可以提高情报结果的相关性和准确性。同时相较于ChatGPT，New Bing具备搜索引擎的基础能力，能够利用网络上最新的新闻、资讯、文章和评论等信息来补充和完善自己的知识库，通过信息聚合、处理、挖掘和再生成能力提供更具时效性的情报结果，另外，基于搜索引擎在网页爬虫等方面的基础能力，New Bing具备对网页服务指纹信息等内容的知识学习能力，能够扩大情报收集分析范围。以下将探讨使用New Bing进行OSINT情报调查的几个典型场景。

（1）了解具备时效性的政策文件

通过简单描述目的、时间和范围，New Bing会借助搜索引擎和大语言模型能力，查找符合目的的结果，还会对结果中的重要内容进行总结、提炼和再生成，自动化高效完成了情报信息的收集、分析、挖掘和分发全流程，提升了情报结果的可读性，这在以往是不可想象的。以下提问内容为“想要了解US官方在2023年新发布的网络安全政策和文件”，这里需要注意的是搜索引擎会根据用户地理位置、语言等给出偏向性结果，因此用英文进行提问结果在这个场景下会更加准确。

（2）查找个人信息和社交状态

社交媒体平台如推特、脸书、领英等是收集OSINT的重要来源。社交媒体上的内容可以反映用户的身份、活动、兴趣、情绪、观点等信息。基于搜索引擎和大语言模型的检索和关联能力，New Bing能够对多源社交媒体平台的信息进行关联分析，增强情报的全面性和准确性。

（3）查找和定位组织信息

针对组织的OSINT包括公开的注册信息、组织业务动态、组织成员信息等。基于搜索引擎和大语言模型能力能够完成以前相对复杂的情报挖掘、分析和整理工作。以New Bing批量化进行简称反查组织基础信息场景为例。

（4）分析网络资产和服务信息

搜索引擎具备基础的爬虫能力，不仅可以收集网页文本信息，也可以对域名、子域名、电子邮件地址、网站框架、SSL/TLS证书、源代码等内容进行收集，同时New Bing利用大语言模型的生成能力和推理能力，从多个数据源中发现潜在的联系、相似性和差异性，呈现出更具价值的情报结果。以针对某地区的特定行业单位资产进行提问式OSINT情报挖掘为例。

（5）事件追踪及趋势监测

OSINT可以帮助收集和分析社交媒体上的评论、评价、反馈等，了解公众对某个话题、事件、品牌、产品等的态度和感受，适用于舆情跟踪、事件分析和趋势研判等场景。New Bing在保障信息时效性的同时，可以利用大语言模型的理解和推理能力高效完成信息聚合和态势分析工作。以查找本月推特上讨论最多的5个CVE漏洞为例。

总结

ChatGPT等生成式人工智能技术的出现对开源情报工作的影响是革命性的，原本通过多源收集、多步研判的复杂情报产出方式正在向具备自然语言处理、内容生成能力的智能问答式情报产出方向发展。ChatGPT的出现让开源情报工作可以更好地利用大数据时代海量数据的优势，未来随着人工智能技术的不断发展，在图片、语音、视频等信息基础上开源情报工作也将会有巨大的价值挖掘空间，人工智能技术让未来的开源情报工作更具想象力和创造力。

题外话

初入计算机行业的人或者大学计算机相关专业毕业生，很多因缺少实战经验，就业处处碰壁。下面我们来看两组数据：

2023届全国高校毕业生预计达到1158万人，就业形势严峻；国家网络安全宣传周公布的数据显示，到2027年我国网络安全人员缺口将达327万。

一方面是每年应届毕业生就业形势严峻，一方面是网络安全人才百万缺口。

6月9日，麦可思研究2023年版就业蓝皮书（包括《2023年中国本科生就业报告》《2023年中国高职生就业报告》）正式发布。

2022届大学毕业生月收入较高的前10个专业

本科计算机类、高职自动化类专业月收入较高。2022届本科计算机类、高职自动化类专业月收入分别为6863元、5339元。其中，本科计算机类专业起薪与2021届基本持平，高职自动化类月收入增长明显，2022届反超铁道运输类专业（5295元）排在第一位。

具体看专业，2022届本科月收入较高的专业是信息安全（7579元）。对比2018届，电子科学与技术、自动化等与人工智能相关的本科专业表现不俗，较五年前起薪涨幅均达到了19%。数据科学与大数据技术虽是近年新增专业但表现亮眼，已跻身2022届本科毕业生毕业半年后月收入较高专业前三。五年前唯一进入本科高薪榜前10的人文社科类专业——法语已退出前10之列。

“没有网络安全就没有国家安全”。当前，网络安全已被提升到国家战略的高度，成为影响国家安全、社会稳定至关重要的因素之一。

网络安全行业特点

1、就业薪资非常高，涨薪快 2021年猎聘网发布网络安全行业就业薪资行业最高人均33.77万！

2、人才缺口大，就业机会多

2019年9月18日《中华人民共和国中央人民政府》官方网站发表：我国网络空间安全人才需求140万人，而全国各大学校每年培养的人员不到1.5W人。猎聘网《2021年上半年网络安全报告》预测2027年网安人才需求300W，现在从事网络安全行业的从业人员只有10W人。

行业发展空间大，岗位非常多

网络安全行业产业以来，随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…

职业增值潜力大

网络安全专业具有很强的技术特性，尤其是掌握工作中的核心网络架构、安全技术，在职业发展上具有不可替代的竞争优势。

随着个人能力的不断提升，所从事工作的职业价值也会随着自身经验的丰富以及项目运作的成熟，升值空间一路看涨，这也是为什么受大家欢迎的主要原因。

从某种程度来讲，在网络安全领域，跟医生职业一样，越老越吃香，因为技术愈加成熟，自然工作会受到重视，升职加薪则是水到渠成之事。