最近在 GitHub 再次火起来的开源项目 Web Check ,输入网址,就会对目标网站自动进行分析,包括 SSL 证书,服务器位置,网站表现等等,界面风格很酷

代码讲故事 2024-08-03 09:03:02 阅读 98

最近在 GitHub 再次火起来的开源项目 Web Check ,输入网址,就会对目标网站自动进行分析,包括 SSL 证书,服务器位置,网站表现等等,界面风格很酷。

在这里插入图片描述

开源项目 web-check 是一个综合性的在线调查工具(OSINT),它被设计来分析任何网站,提供深入洞察网站的内部工作机制。以下是该项目的功能特点和使用效果的详细介绍:

功能特点:

IP信息:获取与域名关联的IP地址,这对于进一步的网络调查至关重要。

SSL证书链:分析网站的SSL证书,提供加密通信的安全性,并提供有关网站身份验证和信任建立的信息。

DNS记录:查找与特定域名关联的DNS记录,这些记录可以揭示服务器位置、邮件提供商和可能的内部信息泄露。

Cookies:检查目标网站设置的HTTP cookies,了解网站如何跟踪和管理用户会话。

爬取规则:查看网站的robots.txt文件,了解网站所有者不希望被搜索引擎索引的页面。

HTTP标头:提取和解释HTTP响应标头,这些标头可以揭示服务器配置、技术选择和安全设置。

质量指标:使用Lighthouse工具测量网站的性能、可访问性、最佳实践和SEO。

服务器位置:确定托管网站的服务器的物理位置。

关联主机名:识别与主要域名关联的所有域名和子域名。

重定向链:追踪从原始URL到最终目的地URL的HTTP重定向序列。

TXT记录:查看TXT记录,这些记录可以用于验证域名所有权或确保电子邮件安全。

服务器状态:检查服务器是否在线并响应请求。

开放端口:确定服务器上开放的端口,这些端口对应于特定服务或协议。

路由跟踪:使用traceroute工具追踪数据包从系统到系统传输的路径。

碳足迹:估算网站的碳足迹,基于数据传输量和服务器的能源使用情况。

服务器信息:检索关于托管目标网站的服务器的信息,如服务器类型和托管提供商。

Whois查找:检索目标域名的Whois记录,提供域名注册人的信息。

DNS安全扩展:检查DNSSEC配置,以防止DNS欺骗和缓存投毒攻击。

网站特性:检查网站在加载时是否使用了特定的核心特性。

技术栈:识别构建网站所使用的技术。

列出的页面:解析网站的站点地图,列出公共子页面。

安全.txt:查看安全.txt文件,了解如何负责任地披露安全问题。

链接的页面:显示网站上找到的所有内部和外部链接。

社交标签:查看网站包含的特定meta标签,这些标签告诉搜索引擎和社交媒体平台要显示的信息。

电子邮件配置:检查DMARC、DKIM和SPF记录,评估域名的电子邮件安全姿态。

防火墙检测:确定网站是否使用WAF以及使用哪种防火墙软件/服务。

HTTP安全特性:检查安全HTTP标头,如HSTS、CSP、X-Content-Type-Options和X-Frame-Options。

归档历史:从Wayback Machine获取网站的完整归档历史。

全球排名:显示网站的全球排名。

阻止检测:检查URL是否被多个流行的隐私、恶意软件和家长控制阻止DNS服务器阻止。

恶意软件和网络钓鱼检测:检查网站是否出现在常见的恶意软件和网络钓鱼列表中。

TLS密码套件:检查服务器使用的TLS密码套件组合。

TLS安全配置:使用Mozilla的TLS Observatory指南检查TLS配置的安全性。

TLS握手模拟:模拟不同客户端与服务器执行TLS握手的过程。

屏幕截图:对请求的URL/IP解析到的网页进行屏幕截图。

使用效果:

web-check 作为一个全面的OSINT工具,可以为网站管理员、安全研究人员、开发人员和普通用户带来以下好处:

网站优化:通过分析网站的性能、安全性和SEO,帮助网站管理员优化网站。安全评估:揭示潜在的安全漏洞和风险,如不安全的SSL配置、开放的端口或恶意软件链接。透明度:通过公开的Whois记录和安全.txt文件,提高网站运营的透明度。合规性检查:确保网站遵守数据保护和隐私法规。技术洞察:了解网站使用的技术栈和服务器配置,帮助竞争对手分析和技术选型。环境责任:估算网站的碳足迹,提高对数字基础设施环境影响的认识。

使用 web-check 可以帮助用户从多个角度理解网站,并采取相应的措施来提升网站的整体表现和安全性。此外,该项目完全免费和开源,使得它成为一个对公众开放且易于访问的资源。

注意:由于 web-check 是一个开源项目,其功能和效果可能会随着社区的贡献和项目的更新而变化。如果您对项目有具体的使用体验或反馈,可以通过项目的GitHub页面参与讨论或贡献代码。

访问地址:https://web-check.as93.net/

在这里插入图片描述

https://github.com/Lissy93/web-check


GitHub 上的 web-check 是一个开源的在线调查工具(OSINT),用于分析任何网站。以下是对该仓库内容的翻译:


🕵️‍♂️ All-in-one OSINT tool for analysing any website

一个全面的OSINT工具,用于分析任何网站

web-check.xyz

web-check.xyz

Get an insight into the inner-workings of a given website: uncover potential attack vectors, analyse server architecture, view security configurations, and learn what technologies a site is using.

深入了解给定网站的内部工作机制:发现潜在的攻击向量,分析服务器架构,查看安全配置,并了解网站使用了哪些技术。

Currently the dashboard will show:

目前仪表板将显示:

IP信息SSL证书链DNS记录Cookies标头域名信息搜索爬取规则页面地图服务器位置重定向记录开放端口路由跟踪DNS安全扩展网站性能跟踪器相关的主机名碳足迹

Stay tuned, as I’ll add more soon!

敬请期待,我将很快添加更多内容!

The aim is to help you easily understand, optimize and secure your website.

我们的目标是帮助您轻松理解、优化和保护您的网站。

Click to expand / collapse section

点击展开/折叠部分

Note this list needs updating, many more jobs have been added since…

注意:此列表需要更新,自那时以来已添加了许多其他工作……

The following section outlines the core features, and briefly explains why this data might be useful for you to know, as well as linking to further resources for learning more.

以下部分概述了核心功能,并简要解释了为什么这些数据对您了解可能很有用,同时提供了进一步学习资源的链接。

IP Info

IP信息

Description

描述

An IP address (Internet Protocol address) is a numerical label assigned to each device connected to a network / the internet. The IP associated with a given domain can be found by querying the Domain Name System (DNS) for the domain’s A (address) record.

IP地址(互联网协议地址)是分配给连接到网络/互联网的每个设备的数字标签。通过查询域名系统(DNS)的域名的A(地址)记录,可以找到与给定域名关联的IP。

Use Cases

使用案例

Finding the IP of a given server is the first step to conducting further investigations, as it allows us to probe the server for additional info. Including creating a detailed map of a target’s network infrastructure, pinpointing the physical location of a server, identifying the hosting service, and even discovering other domains that are hosted on the same IP address.

找到给定服务器的IP是进行进一步调查的第一步,因为它允许我们探测服务器以获取更多信息。包括创建目标网络基础设施的详细地图,精确定位服务器的物理位置,识别托管服务,甚至发现在同一IP地址上托管的其他域名。

Useful Links

有用链接

Understanding IP Addresses

理解IP地址

IP Addresses - Wiki

IP地址 - 维基百科

RFC-791 Internet Protocol

RFC-791 互联网协议

whatismyipaddress.com

什么是我的IP地址

SSL Chain

SSL证书链

Description

描述

SSL certificates are digital certificates that authenticate the identity of a website or server, enable secure encrypted communication (HTTPS), and establish trust between clients and servers. A valid SSL certificate is required for a website to be able to use the HTTPS protocol, and encrypt user + site data in transit. SSL certificates are issued by Certificate Authorities (CAs), which are trusted third parties that verify the identity and legitimacy of the certificate holder.

SSL证书是数字证书,用于验证网站或服务器的身份,启用安全加密通信(HTTPS),并在客户端和服务器之间建立信任。网站要使用HTTPS协议并加密传输中用户和站点数据,需要一个有效的SSL证书。SSL证书由证书颁发机构(CA)颁发,CA是验证证书持有者身份和合法性的可信第三方。

Use Cases

使用案例

SSL certificates not only provide the assurance that data transmission to and from the website is secure, but they also provide valuable OSINT data. Information from an SSL certificate can include the issuing authority, the domain name, its validity period, and sometimes even organization details. This can be useful for verifying the authenticity of a website, understanding its security setup, or even for discovering associated subdomains or other services.

SSL证书不仅确保了网站与用户之间的数据传输安全,而且还提供了有价值的开源情报数据。从SSL证书中获取的信息可以包括发行机构、域名、其有效期,有时甚至是组织详细信息。这对于验证网站的真实性、了解其安全设置,甚至发现相关的子域或其他服务非常有用。

Useful Links

有用链接

TLS - Wiki

TLS - 维基百科

What is SSL (via Cloudflare learning)

什么是SSL(通过Cloudflare学习)

RFC-8446 - TLS

RFC-8446 - TLS

SSL Checker

SSL检查器

DNS Records

DNS记录

Description

描述

This task involves looking up the DNS records associated with a specific domain. DNS is a system that translates human-readable domain names into IP addresses that computers use to communicate. Various types of DNS records exist, including A (address), MX (mail exchange), NS (name server), CNAME (canonical name), and TXT (text), among others.

此任务涉及查找与特定域名关联的DNS记录。DNS是一个系统,它将人类可读的域名转换为计算机用来通信的IP地址。存在各种类型的DNS记录,包括A(地址)、MX(邮件交换)、NS(名称服务器)、CNAME(规范名称)和TXT(文本)等。

Use Cases

使用案例

Extracting DNS records can provide a wealth of information in an OSINT investigation. For example, A and AAAA records can disclose IP addresses associated with a domain, potentially revealing the location of servers. MX records can give clues about a domain’s email provider. TXT records are often used for various administrative purposes and can sometimes inadvertently leak internal information. Understanding a domain’s DNS setup can also be useful in understanding how its online infrastructure is built and managed.

在开源情报调查中提取DNS记录可以提供大量信息。例如,A和AAAA记录可以披露与域名关联的IP地址,可能揭示服务器的位置。MX记录可以提供域名的电子邮件提供商的线索。TXT记录通常用于各种管理目的,有时可能会无意中泄露内部信息。了解域名的DNS设置也有助于了解其在线基础设施是如何构建和管理的。

Useful Links

有用链接

What are DNS records? (via Cloudflare learning)

什么是DNS记录?(通过Cloudflare学习)

DNS Record Types

DNS记录类型

RFC-1035 - DNS

RFC-1035 - DNS

DNS Lookup (via MxToolbox)

DNS查找(通过MxToolbox)

Cookies

Cookies

Description

描述

The Cookies task involves examining the HTTP cookies set by the target website. Cookies are small pieces of data stored on the user’s computer by the web browser while browsing a website. They hold a modest amount of data specific to a particular client and website, such as site preferences, the state of the user’s session, or tracking information.

Cookies任务涉及检查目标网站设置的HTTP cookies。Cookies是在用户浏览网站时由Web浏览器存储在用户计算机上的小数据片段。它们保存特定于特定客户端和网站的数据,如网站偏好、用户会话的状态或跟踪信息。

Use Cases

使用案例

Cookies can disclose information about how the website tracks and interacts with its users. For instance, session cookies can reveal how user sessions are managed, and tracking cookies can hint at what kind of tracking or analytics frameworks are being used. Additionally, examining cookie policies and practices can offer insights into the site’s security settings and compliance with privacy regulations.

Cookies可以透露网站如何跟踪和与其用户互动的信息。例如,会话cookie可以显示用户会话是如何管理的,跟踪cookie可以暗示正在使用何种跟踪或分析框架。此外,检查cookie政策和实践可以提供对站点的安全设置和遵守隐私法规的了解。

Useful Links

有用链接

HTTP Cookie Docs (Mozilla)

HTTP Cookie文档(Mozilla)

What are Cookies (via Cloudflare Learning)

什么是Cookies(通过Cloudflare学习)

Testing for Cookie Attributes (OWASP)

测试Cookie属性(OWASP)

RFC-6265 - Cookies

RFC-6265 - Cookies

Crawl Rules

爬取规则

Description

描述

Robots.txt是通常位于域名根目录的文件,用于实现机器人排除协议(REP),以指示哪些页面应被哪些爬虫和机器人忽略。避免搜索引擎爬虫超载您的网站是一个好习惯,但不应使用它来让页面退出搜索结果(相反,使用noindex元标签或标头)。

Robots.txt是一个文件(通常位于域的根目录),用于实现机器人排除协议(REP),以指示哪些页面应该被哪些爬虫和机器人忽略。避免搜索引擎爬虫过度加载您的网站是一个好习惯,但不应使用它来让页面退出搜索结果(相反,使用noindex元标签或标头)。

Use Cases

使用案例

在调查期间检查robots.txt文件通常是有用的,因为它有时会披露网站所有者不希望被索引的目录和页面,可能是因为它们包含敏感信息,或者揭示了其他隐藏或未链接的目录的存在。此外,了解爬取规则可以提供对网站SEO策略的洞察。

Useful Links

Google Search Docs - Robots.txtLearn about robots.txt (via Moz.com)RFC-9309 - Robots Exclusion ProtocolRobots.txt - wiki

Headers

标头

Description

描述

Headers任务涉及提取和解释目标网站在请求-响应周期中发送的HTTP标头。HTTP标头是在HTTP响应开始时或在实际数据之前发送的键值对。标头包含有关如何处理正在传输的数据的重要指令,包括缓存策略、内容类型、编码、服务器信息、安全策略等。

Use Cases

使用案例

分析HTTP标头可以在开源情报调查中提供重要见解。标头可以揭示特定的服务器配置、所选技术、缓存指令和各种安全设置。这些信息有助于确定网站的基础技术栈、服务器端安全措施、潜在漏洞和一般操作实践。

Useful Links

HTTP Headers - DocsRFC-7231 Section 7 - HeadersList of header response fieldsOWASP Secure Headers Project

Quality Metrics

质量指标

Description

描述

使用Lighthouse,Quality Metrics任务测量目标网站的性能、可访问性、最佳实践和SEO。这返回一个简单的100个核心指标清单,以及每个类别的得分,以衡量给定网站的总体质量。

Use Cases

使用案例

有助于评估网站的技术健康状况、SEO问题、识别漏洞,并确保符合标准。

Useful Links

Lighthouse DocsGoogle Page Speed ToolsW3 Accessibility ToolsGoogle Search ConsoleSEO CheckerPWA Builder

Server Location

服务器位置

Description

描述

Server Location任务根据其IP地址确定托管给定网站的服务器的物理位置。这是通过在位置数据库中查找IP地址来完成的,该数据库将IP映射到已知数据中心和ISP的纬度+经度。从纬度和经度,然后可以显示额外的上下文信息,如地图上的标记、地址、国旗、时区、货币等。

Use Cases

使用案例**

了解服务器位置是更好地了解网站的好第一步。对于网站所有者来说,这有助于优化内容传递,确保符合数据居住要求,并识别可能影响特定地理区域用户体验的潜在延迟问题。对于安全研究人员来说,评估特定地区或司法管辖区带来的网络威胁和法规风险。

Useful Links

IP LocatorInternet Geolocation - Wiki

Associated Hosts

相关主机

Description

描述

这项任务涉及识别和列出与网站主要域名关联的所有域名和子域名(主机名)。这个过程通常涉及DNS枚举,以发现任何链接的域名和主机名,以及查看已知的DNS记录。

Use Cases

使用案例

在调查期间,了解目标的完整网络存在范围至关重要。关联域名可能导致发现相关项目、备份站点、开发/测试站点或与主站点链接的服务。这些有时可以提供额外的信息或潜在的安全漏洞。一个全面的关联域名和主机名列表还可以提供组织的架构和在线足迹的概览。

Useful Links

DNS Enumeration - WikiOWASP - Enumerate Applications on WebserverDNS Enumeration - DNS DumpsterSubdomain Finder

Redirect Chain

重定向链

Description

描述

这项任务追溯从原始URL到最终目标URL发生的HTTP重定向序列。HTTP重定向是带有状态代码的响应,建议客户端转到另一个URL。重定向可能因多种原因而发生,例如URL规范化(指向网站的www版本)、强制执行HTTPS、URL缩短器或将用户转发到新站点位置。

Use Cases

使用案例

了解重定向链可能有几个用途。从安全角度来看,长或复杂的重定向链可能是潜在安全风险的迹象,例如链中未加密的重定向。此外,重定向可以影响网站性能和SEO,因为每个重定向都会引入额外的往返时间(RTT)。对于开源情报,了解重定向链可以帮助确定不同域名之间的关系或揭示某些技术或托管提供商的使用。

Useful Links

HTTP Redirects - MDNURL Redirection - Wiki301 Redirects explained

TXT Records

TXT记录

Description

描述

TXT记录是DNS记录的一种类型,它向您的域名外的来源提供文本信息。它们可以用于各种目的,例如验证域名所有权、确保电子邮件安全,甚至防止未经授权的对您的网站的更改。

Use Cases

使用案例

TXT记录经常揭示与给定域名一起使用的外部服务和技术。它们可能揭示有关域名电子邮件配置的细节,特定服务的使用,如Google Workspace或Microsoft 365,或已经建立的安全措施,如SPF和DKIM。了解这些细节可以让人了解组织使用的技术、他们的电子邮件安全实践以及潜在的漏洞。

Useful Links

TXT Records (via Cloudflare Learning)TXT Records - WikiRFC-1464 - TXT RecordsTXT Record Lookup (via MxToolbox)

Server Status

服务器状态

Description

描述

检查服务器是否在线并响应请求。

Use Cases

使用案例

有用的链接

Open Ports

开放端口

Description

描述

服务器上的开放端口是可用于与客户端建立连接的通信端点。每个端口对应于特定服务或协议,如HTTP(端口80)、HTTPS(端口443)、FTP(端口21)等。可以使用诸如端口扫描等技术确定服务器上的开放端口。

Use Cases

使用案例

了解服务器上哪些端口开放可以提供有关在该服务器上运行的服务的信息,这对于了解系统的潜在漏洞或了解服务器提供的服务性质非常有用。

Useful Links

List of TCP & UDP Port NumbersNMAP - Port Scanning Basics

Traceroute

路由跟踪

Description

描述

Traceroute是一个网络诊断工具,用于实时跟踪信息包从一个系统到另一个系统的路径。它记录了路由上的每个跳转,提供了有关路由器IP和每个点的延迟的详细信息。

Use Cases

使用案例

在开源情报调查中,路由跟踪可以提供有关支持网站或服务的网络基础设施的路由路径和地理信息的见解。这有助于识别网络瓶颈、潜在的网络流量审查或操纵,并给出网络结构和效率的总体感觉。此外,在路由跟踪期间收集的IP地址可能为进一步的开源情报调查提供额外的查询点。

Useful Links

[未定义的链接]

Carbon Footprint

碳足迹

Description

描述

这项任务计算网站的估计碳足迹。它基于正在传输和处理的数据量以及托管和交付网站的服务器的能源使用情况。网站越大、功能越复杂,其碳足迹可能就越大。

Use Cases

使用案例

从开源情报的角度来看,了解网站的碳足迹并不直接提供对其内部工作或背后的组织的见解。然而,它在更广泛的分析中仍然可以是有价值的数据,特别是在环境影响是一个考虑因素的背景下。例如,它可以用于活动家、研究人员或道德黑客,他们对数字基础设施的可持续性感兴趣,并希望让组织对他们的环境影响负责。

Useful Links

WebsiteCarbon - Carbon CalculatorThe Green Web FoundationThe Eco Friendly Web AllianceReset.orgYour website is killing the planet - via Wired

Server Info

服务器信息

Description

描述

这项任务检索有关托管目标网站的服务器的各种信息。这可能包括服务器类型(例如,Apache、Nginx)、托管提供商、自治系统号码(ASN)等。这些信息通常是通过IP地址查找和分析HTTP响应标头的组合获得的。

Use Cases

使用案例

在开源情报的背景下,服务器信息可以提供有关网站背后的组织有价值的线索。例如,托管提供商的选择可能表明组织的运营地理区域,而服务器类型可能暗示组织使用的技术。ASN也可以用来找到同一组织托管的其他域名。

Useful Links

[未定义的链接]

Whois Lookup

Whois查找

Description

描述

这项任务为目标域名检索Whois记录。Whois记录是信息的丰富来源,包括域名注册人的名字和联系信息、域名的创建和过期日期、域名的名称服务器等。这些信息通常是通过对Whois数据库服务器的查询获得的。

Use Cases

使用案例

在开源情报的背景下,Whois记录可以提供有关网站背后的实体的有价值的线索。它们可以显示域名首次注册和到期的时间,这可能提供对实体运营时间线的洞察。联系信息,尽管通常被编辑或匿名化,但有时可以引导到额外的调查途径。名称服务器也可以用来链接同一实体拥有的多个域名。

Useful Links

[未定义的链接]

Domain Info

域名信息

Description

描述

这项任务为目标域名检索Whois记录。Whois记录是信息的丰富来源,包括域名注册人的名字和联系信息、域名的创建和过期日期、域名的名称服务器等。这些信息通常是通过对Whois数据库服务器的查询获得的。

Use Cases

使用案例

在开源情报的背景下,Whois记录可以提供有关网站背后的实体的有价值的线索。它们可以显示域名首次注册和到期的时间,这可能提供对实体运营时间线的洞察。联系信息,尽管通常被编辑或匿名化,但有时可以引导到额外的调查途径。名称服务器也可以用来链接同一实体拥有的多个域名。

Useful Links

[未定义的链接](可能指向Whois数据库或相关查询工具)

DNS Security Extensions

DNS安全扩展

Description

描述

没有DNSSEC,中间人攻击者可以伪造记录并将用户引导至钓鱼网站。这是因为DNS系统没有内置的方法来验证请求的响应是否被伪造,或者过程中的任何其他部分是否被攻击者中断。DNS安全扩展(DNSSEC)通过使用公钥对DNS记录进行签名来保护DNS查找,以便浏览器可以检测响应是否被篡改。解决此问题的另一种解决方案是DoH(DNS over HTTPS)和DoT(DNS over TLS)。

Use Cases

使用案例

DNSSEC信息提供了对组织网络安全成熟度和潜在漏洞的洞察,特别是在DNS欺骗和缓存投毒方面。如果没有实施DNS安全性(DNSSEC、DoH、DoT等),这可能为攻击者提供入口点。

Useful Links

[未定义的链接](可能指向DNSSEC教育资源或工具)

Site Features

网站特性

Description

描述

检查网站上存在哪些核心特性。如果一个特性被标记为失效,这意味着在加载时它没有被积极使用。

Use Cases

使用案例

这有助于了解网站的能力,以及寻找哪些技术。

Useful Links

有用链接

HTTP Strict Transport Security

HTTP严格传输安全

Description

描述

HTTP严格传输安全(HSTS)是一种网络安全策略机制,有助于保护网站免受协议降级攻击和Cookie劫持的威胁。网站可以通过符合一套要求并提交自己到列表中,被包含在HSTS预加载列表中。

Use Cases

使用案例

有几个原因说明为什么对站点启用HSTS很重要:

用户将http://example.com加入书签或手动输入,并且容易受到中间人攻击者的攻击。

HSTS自动将针对目标域的HTTP请求重定向到HTTPS。旨在仅使用HTTPS的Web应用程序无意中包含HTTP链接或通过HTTP提供内容。

HSTS自动将针对目标域的HTTP请求重定向到HTTPS。中间人攻击者试图拦截使用无效证书的受害者的流量,并希望用户接受不良的证书。

HSTS不允许用户覆盖无效证书消息。

Useful Links

有用链接

[未定义的链接](可能指向HSTS教育资源或工具)

DNS Server

DNS服务器

Description

描述

此检查确定请求的URL/IP解析到的DNS服务器。它还进行了一个基本检查,以查看DNS服务器是否支持DoH,并查看它是否容易受到DNS缓存投毒的攻击。

Use Cases

使用案例

有用的链接

Tech Stack

技术栈

Description

描述

通过获取和解析网站,然后将其与Wappalyzer维护的正则表达式位列表进行比较,以识别不同技术留下的唯一指纹,来检查网站构建所使用的技术。这有助于评估网站的安全性,通过暴露潜在的漏洞,提供竞争分析和开发决策的信息,并可以指导定制的营销策略。道德地应用这些知识是至关重要的,以避免像数据盗窃或未经授权的入侵这样的有害活动。

Use Cases

使用案例

识别网站的技术栈有助于评估其安全性,通过暴露潜在的漏洞,提供竞争分析和开发决策的信息,并可以指导定制的营销策略。道德地应用这些知识是至关重要的,以避免像数据盗窃或未经授权的入侵这样的有害活动。

Useful Links

有用链接

Wappalyzer fingerprints

Wappalyzer指纹

BuiltWith - Check what tech a site is using

BuiltWith - 检查网站使用了哪些技术

Listed Pages

列出的页面

Description

描述

这项工作找到并解析了网站的站点地图。该文件列出了网站作者希望搜索引擎爬取的公共子页面。站点地图有助于SEO,也可以用于一目了然地查看所有站点的公共内容。

Use Cases

使用案例

了解站点的公共面向内容的结构,对于站点所有者来说,检查您的站点地图是否可访问、可解析并包含您希望它包含的所有内容。

Useful Links

有用链接

Learn about Sitemaps

了解站点地图

Sitemap XML spec

站点地图XML规范

Sitemap tutorial

站点地图教程

Security.txt

安全.txt

Description

描述

security.txt文件告诉研究人员他们如何可以负责任地披露在您的站点上发现的任何安全问题。该标准在RFC 9116中提出,并指定该文件应包括一个联系点(电子邮件地址),以及可选的其他信息,如安全披露政策的链接、PGP密钥、提供的语言、策略到期等。该文件应位于您的域名的根目录,要么在/security.txt或/.well-known/security.txt。

Use Cases

使用案例

这很重要,因为没有一个明确的联系点,安全研究人员可能无法报告一个关键的安全问题,或者可能使用不安全或可能是公共渠道来这样做。从开源情报的角度来看,您也可以了解有关站点的信息,包括他们的安全姿态、他们的CSAF提供商,以及PGP公钥的元数据。

Useful Links

有用链接

securitytxt.org

RFC-9116 Proposal

RFC-9116提案

RFC-9116 History

RFC-9116历史

Security.txt (Wikipedia)

安全.txt(维基百科)

Example security.txt (Cloudflare)

示例安全.txt(Cloudflare)

Tutorial for creating security.txt (Pieter Bakker)

创建security.txt的教程(Pieter Bakker)

Linked Pages

链接的页面

Description

描述

显示网站上找到的所有内部和外部链接,通过附加到锚元素的href属性识别。

Use Cases

使用案例

对于站点所有者来说,这有助于诊断SEO问题,改进站点结构,了解内容是如何相互连接的。外部链接可以显示合作伙伴关系、依赖关系和潜在的声誉风险。从安全角度来看,出站链接可以帮助识别网站可能无意中链接到的任何潜在的恶意或被破坏的网站。分析内部链接可以帮助了解站点的结构,并可能揭示不应公开的隐藏或易受攻击的页面。对于开源情报调查员来说,它可以帮助建立对目标的全面了解,发现相关实体、资源,甚至站点的潜在隐藏部分。

Useful Links

有用链接

W3C Link Checker

W3C链接检查器

Social Tags

社交标签

Description

描述

网站可以包含某些元标签,这些标签告诉搜索引擎和社交媒体平台要显示的信息。这通常包括标题、描述、缩略图、关键词、作者、社交账户等。

Use Cases

使用案例

将此数据添加到您的站点将提升SEO,并且作为开源情报研究人员,它可以帮助您了解给定的Web应用程序如何描述自己。

Useful Links

有用链接

SocialSharePreview.com

The guide to social meta tags

社交元标签指南

Web.dev metadata tags

Open Graph Protocol

开放图谱协议

Twitter Cards

Facebook Open Graph

脸书开放图谱

Email Configuration

电子邮件配置

Description

描述

DMARC(基于域的消息认证、报告和合规性):DMARC是一种电子邮件认证协议,与SPF和DKIM一起工作,以防止电子邮件欺骗和网络钓鱼。它允许域名所有者通过在DNS中发布策略来指定如何处理未经认证的邮件,并为接收邮件服务器提供一种将电子邮件的合规性反馈给发送者的方式。BIMI(品牌消息标识符):BIMI是一种新兴的电子邮件标准,使组织能够在其客户的电子邮件客户端中自动显示徽标。BIMI将徽标与域名的DMARC记录相关联,为收件人提供了另一种视觉保证,即电子邮件是合法的。DKIM(域密钥识别邮件):DKIM是一种电子邮件安全标准,旨在确保消息在发送服务器和接收服务器之间的传输过程中未被更改。它使用与发送者域相关联的数字签名来验证发送者并确保消息的完整性。SPF(发送者策略框架):SPF是一种电子邮件认证方法,旨在防止电子邮件欺骗。它通过创建DNS记录来指定哪些邮件服务器被授权代表域名发送电子邮件。这有助于通过为接收邮件服务器提供一种检查传入邮件的方式,从而保护免受垃圾邮件的侵害。

Use Cases

使用案例

这些信息对研究人员很有帮助,因为它有助于评估一个域名的电子邮件安全姿态,发现潜在的漏洞,并验证电子邮件的合法性以进行网络钓鱼检测。这些细节还可以提供对托管环境、潜在的服务提供商以及目标组织配置模式的洞察,协助调查工作。

Useful Links

有用链接

Intro to DMARC, DKIM, and SPF (via Cloudflare)

介绍DMARC、DKIM和SPF(通过Cloudflare)

EasyDMARC Domain Scanner

EasyDMARC域名扫描器

MX Toolbox

Firewall Detection

防火墙检测

Description

描述

WAF或Web应用程序防火墙通过过滤和监控Web应用程序和互联网之间的HTTP流量来帮助保护Web应用程序。它通常保护Web应用程序免受诸如跨站点伪造、跨站点脚本(XSS)、文件包含和SQL注入等攻击。

Use Cases

使用案例

了解网站是否使用WAF以及使用哪种防火墙软件/服务,可以提供对网站保护措施的洞察,这些措施可以抵御多个攻击向量,同时可能揭示防火墙本身的漏洞。

Useful Links

有用链接

What is a WAF (via Cloudflare Learning)

什么是WAF(通过Cloudflare学习)

OWASP - Web Application Firewalls

OWASP - Web应用程序防火墙

Web Application Firewall Best Practices

Web应用程序防火墙最佳实践

WAF - Wiki

WAF - 维基百科

HTTP Security Features

HTTP安全特性

Description

描述

正确配置的安全HTTP标头为您的网站增添了一层防护,抵御常见攻击。主要的标头包括:HTTP Strict Transport Security (HSTS):强制使用HTTPS,减少中间人攻击和协议降级尝试。Content Security Policy (CSP):限制网页资源以防止跨站点脚本和数据注入攻击。X-Content-Type-Options:防止浏览器MIME嗅探响应,从而减少MIME类型混淆攻击。X-Frame-Options:通过控制浏览器是否应该呈现页面在、、或中,保护用户免受点击劫持攻击。

Use Cases

使用案例

审查安全标头很重要,因为它提供了对网站防御姿态和潜在漏洞的洞察,使您能够主动缓解风险,并确保遵守安全最佳实践。

Useful Links

有用链接

OWASP Secure Headers Project

OWASP安全标头项目

HTTP Header Cheatsheet

HTTP标头备忘单

content-security-policy.com

resourcepolicy.fyi

HTTP Security Headers

HTTP安全标头

Mozilla Observatory

CSP Docs

CSP文档

HSTS Docs

HSTS文档

X-Content-Type-Options Docs

X-Content-Type-Options文档

X-Frame-Options Docs

X-Frame-Options文档

X-XSS-Protection Docs

X-XSS-Protection文档

Archive History

归档历史

Description

描述

从Wayback机器获取站点的完整归档历史。

Use Cases

使用案例

这有助于了解站点的历史以及它是如何随时间变化的。它也可以用于找到站点的旧版本,或者找到已被删除的内容。

Useful Links

有用链接

Wayback Machine

Wayback机器

Global Ranking

全球排名

Description

描述

此检查显示所请求网站的全球排名。这只对位于前100万列表中的网站准确。我们使用Tranco项目(见下文)的数据,该项目从Umbrella、Majestic、Quantcast、Chrome用户体验报告和Cloudflare雷达收集了网络上的顶级站点。

Use Cases

使用案例

了解网站的整体全球排名有助于了解站点的规模,并将其与其他站点进行比较。它还可以用于了解网站的相对受欢迎程度,并识别潜在的趋势。

Useful Links

有用链接

Tranco List

Tranco列表

Tranco Research Paper

Tranco研究论文

Block Detection

阻止检测

Description

描述

使用10多个最受欢迎的隐私、恶意软件和家长控制阻止DNS服务器检查URL的访问。

Use Cases

使用案例

有用的链接

Malware & Phishing Detection

恶意软件和网络钓鱼检测

Description

描述

检查网站是否出现在几个常见的恶意软件和网络钓鱼列表中,以确定其威胁级别。

Use Cases

使用案例

了解网站是否被这些服务中的任何一个列为威胁,有助于了解网站的声誉,并识别潜在的趋势。

Useful Links

有用链接

URLHausPhishTank

TLS Cipher Suites

TLS密码套件

Description

描述

这些是服务器用来建立安全连接的加密算法组合。它包括密钥交换算法、散列加密算法、MAC算法和PRF(伪随机函数)。

Use Cases

使用案例

从安全角度来说,这是重要的信息。因为密码套件的安全性只取决于它包含的算法。如果密码套件中的加密或认证算法版本存在已知漏洞,则密码套件和TLS连接可能会受到降级或其他攻击的威胁。

Useful Links

有用链接

sslscan2 CLIssl-enum-ciphers (NPMAP script)

TLS Security Config

TLS安全配置

Description

描述

这使用Mozilla的TLS Observatory指南来检查TLS配置的安全性。它检查不良配置,这些配置可能会使网站容易受到攻击,并提供如何解决的建议。它还将提供关于过时和现代TLS配置的建议。

Use Cases

使用案例

了解网站TLS配置的问题将帮助您解决潜在的漏洞,并确保网站使用最新和最安全的TLS配置。

Useful Links

有用链接

TLS Handshake Simulation

TLS握手模拟

Description

描述

这模拟了不同客户端(浏览器、操作系统)将如何与服务器执行TLS握手。它有助于识别兼容性问题和不安全的配置。

Use Cases

使用案例

有用的链接

TLS Handshakes (via Cloudflare Learning)

TLS握手(通过Cloudflare学习)

SSL Test (via SSL Labs)

SSL测试(通过SSL实验室)

Screenshot

屏幕截图

Description

描述

这个检查对所请求的URL/IP解析到的网页进行屏幕截图,并显示它。

Use Cases

使用案例

这可能有助于查看给定网站的外观,不受您的浏览器、IP或位置的限制。

默认情况下,不需要配置。但是,有一些可选的环境变量,您可以设置它们以获得一些额外的检查,或增加使用外部API的某些检查的速率限制。

所有值都是可选的。您可以将它们作为环境变量添加。您可以直接将它们放入项目根目录中的.env文件中,或通过Netlify / Vercel UI,或通过使用–env标志传递给Docker容器,或使用您自己的环境变量管理系统。

注意,带有REACT_APP_前缀的键用于客户端,因此它们必须正确地限定范围,并且具有最小的权限,因为它们可能会在拦截浏览器<–>服务器网络请求时被公开。

您需要安装Node.js(V 18.16.1或更高版本),以及yarn和git。

一些检查还需要在您的环境里安装chromium、traceroute和dns。如果这些软件包不在,则这些工作将被跳过。

欢迎各种贡献,这将非常感激。

对于行为准则,请参见贡献者公约。

要开始,请分叉仓库,进行您的更改,添加、提交并推送代码,然后回到这里打开一个拉取请求。如果您是GitHub或开源的新手,这个指南或git文档可以帮助您入门,但如果您需要任何支持,请不要犹豫,随时联系我们。

如果您发现有些东西工作不正常,或者想建议一个新功能,那么请在GitHub上提出一个工单。

对于错误,请概述重现步骤,并包括相关系统信息和日志。

该应用程序将保持100%免费和开源。

但由于托管实例的流量,lambda函数的使用量大约为每月25美元。

通过GitHub赞助提供任何帮助以支付成本将非常感激。

感谢社区的支持,这个项目能够对每个人都免费可用 😃

非常感谢这些了不起的人,他们在GitHub上赞助我,他们的支持有助于支付所需的成本,以保持Web-Check和我的其他项目对每个人都免费。

如果您有能力,考虑加入他们,在GitHub上赞助我。

由于上文已经翻译了大部分的描述和使用案例,我将继续翻译剩余的内容:

Environment Variables

环境变量

All values are optional. You can add these as environmental variables. Either put them directly into an .env file in the project’s root, or via the Netlify / Vercel UI, or by passing to the Docker container with the --env flag, or using your own environmental variable management system.

所有值都是可选的。您可以将它们添加为环境变量。可以直接放入项目根目录中的.env文件中,也可以通过Netlify / Vercel用户界面进行设置,或者通过使用–env标志传递给Docker容器,或者使用您自己的环境变量管理系统。

Note that keys that are prefixed with REACT_APP_ are used client-side, and as such they must be scoped correctly with minimum privileges, since they may be made visible when intercepting browser <-> server network requests.

请注意,以REACT_APP_为前缀的键在客户端使用,因此它们必须正确限定范围并具有最小权限,因为它们可能在拦截浏览器<–>服务器网络请求时被看到。

You’ll need Node.js (V 18.16.1 or later) installed, plus yarn as well as git. Some checks also require chromium, traceroute and dns to be installed within your environment. These jobs will just be skipped if those packages aren’t present.

您需要安装Node.js(V 18.16.1或更高版本),加上yarn和git。一些检查还需要在您的环境里安装chromium、traceroute和dns。如果这些软件包不在,则这些工作将被跳过。

Contributions

贡献

Contributions of any kind are very welcome, and would be much appreciated. For Code of Conduct, see Contributor Covenant. To get started, fork the repo, make your changes, add, commit and push the code, then come back here to open a pull request. If you’re new to GitHub or open source, this guide or the git docs may help you get started, but feel free to reach out if you need any support.

欢迎各种形式的贡献,这将非常感激。关于行为准则,请参阅贡献者公约。要开始,请分叉仓库,进行您的更改,添加、提交并推送代码,然后回到这里打开一个拉取请求。如果您是GitHub或开源的新手,这个指南或git文档可以帮助您入门,但如果您需要任何支持,请不要犹豫,随时联系我们。

If you’ve found something that doesn’t work as it should, or would like to suggest a new feature, then go ahead and raise a ticket on GitHub. For bugs, please outline the steps needed to reproduce, and include relevant info like system info and resulting logs.

如果您发现有些东西工作不正常,或者想建议一个新功能,那么请在GitHub上提出一个工单。对于错误,请概述重现步骤,并包括相关系统信息和日志。

The app will remain 100% free and open source. But due to the amount of traffic that the hosted instance gets, the lambda function usage is costing about $25/month. Any help with covering the costs via GitHub Sponsorship would be much appreciated.

该应用程序将保持100%免费和开源。但由于托管实例的流量,lambda函数的使用量大约为每月25美元。通过GitHub赞助提供任何帮助以支付成本将非常感激。

It’s thanks to the support of the community that this project is able to be freely available for everyone 😃

感谢社区的支持,这个项目能够对每个人都免费可用 😃

Huge thanks to these wonderful people, who sponsor me on GitHub, their support helps cover the costs required to keep Web-Check and my other projects free for everyone. Consider joining them, by sponsoring me on GitHub if you’re able.

非常感谢这些了不起的人,他们在GitHub上赞助我,他们的支持有助于支付所需的成本,以保持Web-Check和我的其他项目对每个人都免费。如果您有能力,考虑加入他们,在GitHub上赞助我。



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。