离线浏览器终极教程：随时随地，畅游网络

离线浏览器（Offline Browser），也称为网站抓取工具或网站镜像工具，是一种可以下载并保存整个网站或网页到本地计算机的工具，保存后的网站可以在没有网络连接的情况下,通过浏览器像在线一样浏览。

为什么要使用离线浏览器？

离线浏览器的用途非常广泛：

1. 资料归档与备份：保存重要的博客、文章、论坛帖子,防止网站关闭或内容被删除。
2. 网络不稳定环境：在飞机、火车、偏远地区或网络信号差的地方,依然可以阅读已下载的网页。
3. 节省流量：在手机流量有限的情况下，可以在 Wi-Fi 环境下下载好网站,之后随时离线查看。
4. 深度研究与内容分析：下载整个网站后，可以使用本地工具进行全文搜索、内容分析和数据挖掘。
5. 网站开发与测试：下载一个网站到本地,方便开发者进行离线分析和测试。

离线浏览器的核心概念

在开始之前,了解几个关键概念非常重要：

• 爬取/抓取：指程序自动地浏览网页,并获取其内容的过程。
• 镜像：指完整地复制一个网站的所有文件，包括网页、图片、CSS、JavaScript 等，并保持原有的目录结构，这样在本地打开时,网站的外观和功能与在线时几乎完全一致。
• 深度：指爬取的层级，深度为 1 只会抓取首页及其直接链接的页面；深度为 2 则会抓取首页、直接链接页面，以及这些页面上的链接页面,以此类推。
• 过滤器：用于控制抓取哪些链接，你可以设置只抓取包含 "blog" 的链接，或者排除所有包含 "logout" 的链接。
• 用户代理：浏览器向服务器发送请求时标识自己的字符串，通过修改 User-Agent，可以模拟不同浏览器（如 Chrome, Firefox）或搜索引擎的访问,避免被某些网站屏蔽。

离线浏览器工具推荐与教程

我们将工具分为三类：浏览器内置功能、桌面软件 和 命令行工具。

浏览器内置功能（最简单）

几乎所有现代浏览器都内置了“另存为”功能，可以保存单个网页，这是最基础、最直接的离线浏览方式。

适用场景：只需要保存一两个重要的网页,而不是整个网站。

操作步骤（以 Chrome 为例）：

1. 打开你想要保存的网页。
2. 按 Ctrl + S (Windows) 或 Cmd + S (Mac)。
3. 在弹出的“保存网页”对话框中：
   • 保存类型：这是最关键的一步。
     • 网页，仅 HTML：只保存网页的 HTML 代码，所有图片、样式表、脚本都无法显示，文件最小,但通常无法正常查看。
     • 网页，完整：（推荐） 保存 HTML 文件，同时创建一个同名文件夹，将所有图片、CSS、JS 等依赖文件都存放在这个文件夹里,这样你就可以在本地完整地打开这个网页了。
     • 网页，HTML only：同“网页，仅 HTML”。
4. 选择好保存位置和类型后，点击“保存”。

优点：

• 无需安装任何额外软件。
• 操作极其简单。

缺点：

• 只能保存单个页面,无法自动抓取整个网站。
• 对于使用 JavaScript 动态加载内容的网站（如单页应用）,保存下来的可能只是一个空壳。

桌面软件（图形界面，易于上手）

这类软件提供了图形用户界面，操作直观,适合普通用户和非技术人员。

推荐工具：HTTrack Website Copier

HTTrack 是最经典、最免费、功能最强大的离线浏览器之一，支持 Windows, Linux, macOS。

官网：https://www.httrack.com/

详细教程：

1. 下载与安装

   访问官网，下载并安装适合你操作系统的版本，安装过程一路“下一步”即可。

2. 创建新项目

   • 打开 HTTrack，点击 File -> New... (或直接按 Ctrl+N)。
   • 在弹出的窗口中：
     • Project name：给你的项目起个名字，我的博客镜像”。
     • Base path：选择一个文件夹,用于存放下载的网站文件。
     • Enter the project...：输入你想要下载的网站地址，https://www.example.com。
     • 点击 Next。

3. 设置选项（最关键的一步）

   • 在这个界面，你可以详细配置抓取规则，默认设置通常已经足够,但了解这些选项能让你更好地控制抓取过程。
   • Action：选择 Mirror Web Site（镜像网站）。
   • Proxy：如果你的网络需要代理,在这里设置。
   • Wildcards：（高级功能） 可以用来包含或排除某些 URL，在 后面输入 *.jpg 可以只抓取 JPG 图片；在 后面输入 /admin/ 可以排除所有管理后台页面。
   • Set maximum mirroring depth：设置抓取深度。0 只抓取首页，1 抓取首页和直接链接的页面，2 再往下一层，以此类推,可以根据需要设置。
   • 点击 Next。

4. 开始抓取

   • 最后一个界面会显示你的项目摘要，确认无误后，点击 Start 按钮。
   • HTTrack 开始工作，你会看到一个实时的进度窗口,显示已下载的文件数量和速度。

5. 浏览离线网站

   • 下载完成后，回到你设置的 Base path 文件夹,找到项目文件夹。
   • 进入文件夹，找到一个名为 index.html 或类似的文件，用浏览器打开它,就可以开始离线浏览了。

优点：

• 功能强大,可配置性高。
• 完全免费。
• 支持跨平台。

缺点：

• 对于一些反爬虫严格的网站可能会失败。
• 界面比较复古。

命令行工具（灵活、强大、适合开发者）

如果你是开发者，或者需要将离线下载集成到自动化流程中,命令行工具是不二之选。

推荐工具：Wget

Wget 是一个历史悠久、功能极其强大的命令行下载工具，几乎所有 Linux 和 macOS 系统都预装了它，在 Windows 上也可以通过 WSL 或 Git Bash 轻松使用。

详细教程：

1. 基本命令（下载单个网站） 最简单的命令是：

   wget -r -p -k -E https://www.example.com

   • -r 或 --recursive：递归下载,即抓取所有链接。
   • -p 或 --page-requisites：下载所有显示网页所需的文件，如图片、CSS 等。
   • -k 或 --convert-links：将下载的网页中的链接转换为适合本地浏览的格式。
   • -E 或 --adjust-extension：在 HTML 文件后添加 .html 后缀。

2. 更高级的命令（控制抓取范围）

   • 限制抓取深度：

     wget -r -p -k -E --level=2 https://www.example.com

     --level=2 表示只抓取两层深度的链接。

   • 指定下载目录：

     wget -r -p -k -E -P /path/to/save https://www.example.com

     -P 指定了所有文件下载到的目标目录。

   • 排除特定文件或目录：

     wget -r -p -k -E --exclude-directories=images,css https://www.example.com

     --exclude-directories 会排除指定目录。

   • 设置 User-Agent（模拟浏览器访问）：

     wget -r -p -k -E -U "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" https://www.example.com

3. 浏览离线网站 Wget 下载的文件默认会以网站域名作为子目录存放在当前目录下，进入该目录，找到 index.html 文件用浏览器打开即可。

优点：

• 轻量、快速、高效。
• 灵活性极高,所有功能都可以通过参数精确控制。
• 非常适合编写脚本进行自动化任务。

缺点：

• 需要学习命令行,对新手不友好。

进阶与注意事项

1. 处理动态网站（JavaScript 渲染）

   • 传统工具如 HTTrack 和 Wget 无法很好地处理由 JavaScript 动态生成内容的网站（如 React, Vue, Angular 构建的网站）。
   • 解决方案：使用 Puppeteer (Node.js) 或 Selenium (多语言支持) 等浏览器自动化工具，这些工具可以控制一个真实的浏览器（如 Chrome），让 JS 完全运行后再抓取最终的 HTML 代码,这需要一定的编程能力。

2. 遵守 robots.txt 规则

   • 一个负责任的抓取工具会自动检查网站根目录下的 robots.txt 文件（https://www.example.com/robots.txt）,这个文件规定了网站所有者不希望被爬虫访问的目录。
   • HTTrack 和 Wget 默认都会遵守 robots.txt，如果你强行忽略，可能会对目标网站服务器造成负担，甚至被 IP 封禁。

3. 设置延时，避免被封禁

   • 如果你抓取的是一个很大的网站，过于频繁的请求可能会触发服务器的防御机制，导致你的 IP 被临时或永久封禁。
   • Wget 设置延时：--wait=5 表示每次请求间隔 5 秒；--random-wait 会在 5*--wait 到 5*--wait 之间随机等待,避免行为模式过于规律。
   • HTTrack 设置延时：在 Proxy 设置页面，可以找到 Delay between 2 successive server requests 选项进行设置。

4. 版权问题

   仅供个人学习和研究使用，请勿将下载的内容用于商业用途或公开发布,以免侵犯他人的知识产权。

如何选择合适的工具？

希望这份详尽的教程能帮助你掌握离线浏览的技能,享受随时随地自由上网的乐趣！