白山市网站建设_网站建设公司_移动端适配_seo优化

无论是基于互联网信息构建动态更新的知识库，还是为金融、电商、舆情监测等领域提供实时、精准的数据支持，都会涉及到第三方网页数据RPA采集和解析的技术领域，随着LLM的发展成熟，该技术领域也面临智能化升级挑战。

传统的RPA采集工具主要适合比较简单的静态网页，但碰到动态加载数据、动态渲染的网页就很难处理，需要深入技术分析网页结构，编写脚本解析，技术门槛太高。

本文的目标是探索通过引入LLM，大幅降低RPA数据采集技术门槛，使非专业人员也能快速配置数据采集任务，可快速响应业务侧新增的网站采集需求，同时高效解析复杂动态网页结构，真正实现“所见即所采”。

"码上菩提"同学针对LLM在RPA网页数据采集场景中的应用，实践了几种智能化采集范式，并描述了案例探索过程，通过本文读者可以体验智能体AI Agent的实际应用，也可以深入了解智能化RPA采集机制。

一、基于LLM的三种实践范式

根据不同的需求和复杂度，我们探索实践了三种范式。

2、LLM+Playwright工具：灵活稳定范式

针对“LLM+Python代码”范式难以支撑复杂动态页面，以及代码生成不稳定等不足，进一步尝试通过大模型驱动爬虫工具的范式，让LLM 负责 “指令理解 - 参数生成”，中间引入 Playwright等工具来实现动态复杂网页的稳定爬取，然后再由LLM 负责 “内容解析 - 结果输出”。适用于大规模、多网站、高自适应需求的采集场景。该范式通过两次调用 LLM 各司其职，充分智能化，同时驱动爬虫工具实现标准化采集，以支撑复杂动态页面，同时提升稳定性。具体实现过程如下：

（1）LLM1：指令解析与参数生成：用户输入自然语言指令（如 “爬取某电商平台手机分类页的前 10 款商品，提取名称、价格、评分”），LLM1 基于指令生成 Playwright 可执行的参数（如目标 URL、等待元素（//div[@class=“phone-item”]）、翻页触发条件（滚动到底部）、采集数量限制（10 款）），并自动生成 Playwright 调用代码片段（无需开发者手动编写）；

（2）Playwright 动态爬取：根据 LLM1 生成的参数与代码，启动无头浏览器完成网页渲染、内容抓取，获取包含语义化标签的 HTML 结果（如

、

）；

（3）LLM2：内容解析与结果输出：将 Playwright 抓取的 HTML 与用户初始指令一同传入 LLM2，LLM2 依托 HTML 的标题描述标签（如 “phone-name” 明确指向商品名称），精准提取目标字段，并按指令要求输出结构化格式（如 Excel、JSON）。若解析结果存在缺失（如某商品无评分），LLM2 会自动标注 “无数据”，无需额外校验逻辑。

案例实践

以采集动态信息网页为例实践本范式，采集某网站行政许可相关数据，该页面动态加载，需要等页面列表信息加载完毕后，输入查询条件，点击查询按钮，然后解析查询结果数据，具体网页基本结构如下：

核心挑战包括：①数据完全由 JavaScript 动态加载，初始 HTML 中无结果信息，传统爬虫无法捕获；②需模拟浏览器等待页面渲染完成；③页面包含复杂交互（如需点击 “查询” 按钮才能显示目标数据）；④数据格式为 JSON 嵌套结构，传统解析规则难以处理字段关联。

采用本范式具体步骤如下：

1. 环境准备：部署 Playwright（启动无头 Chrome 浏览器），本地部署 Qwen-7B 模型（处理任务规划与数据解析）；
2. 第一层 LLM（任务规划）：构造 Prompt（“任务：采集某平台的‘XX 行政许可数据’，需完成：1）访问平台搜索页，等待页面列表数据加载完成；2）在搜索框中输入‘XX 公司’；3）点击‘查询’按钮；4）等待查询结果加载完成。请生成 Playwright 的 执行脚本，实现上述操作，需包含元素定位逻辑（若无法确定具体选择器，可使用模糊定位并添加等待时间）”），LLM 生成的 Playwright 脚本如下所示：

##1、调用playwright抓取网页内容async def craw(): async with async_playwright() as p: browser = await p.chromium.launch(headless=False) page = await browser.new_page() await page.goto('http://credit.xxxxxx.cn/list_sgs.shtml?id=e60bfe736ed94189bfcbf6b6f3d407e1', wait_until="domcontentloaded", timeout=180000000) await page.wait_for_selector(".contentDiv .title_txt", timeout=1500000) page.fill(".search_txt","jiangxixi"); page.click(".search_btn"); # content = await page.content() content = await page.inner_html('#newsList', timeout=1500000) # print(content)

3. Playwright 执行操作：运行生成的代码，启动浏览器访问目标平台，等待页面列表渲染（通过page.wait_for_selector()等待页面对应的标签加载），再完成搜索、点击等交互操作，等待结果数据渲染（添加等待时间），然后获取渲染后的完整 HTML；
4. 第二层 LLM（数据解析）：构造 Prompt（“请根据如下HTML内容，帮我提取行政相对人名称、行政许可决定书文号等信息，[采集到的 HTML]”），LLM生成的解析代码如下所示：

##2、大模型解析网页def parser(content): llm = ChatDeepSeek( model="deepseek-chat", temperature=0, max_tokens=None, timeout=None, max_retries=2, api_key="xxx", ) prompt = f"请根据如下HTML内容，帮我提取行政相对人名称:{content}" messages = [ ("system", "你是一个HTML网页解析高手，擅长根据用户问题解析网页相关的内容。"), ("human", prompt), ] for chunk in llm.stream(messages): print(chunk.text(), end="")

5. 数据校验与存储：将 LLM 输出的 JSON 数据进行结构化校验和存储。

该范式优点

• 跨网站适配成本低：更换采集目标（如从电商手机页切换为家电页）时，仅需修改用户指令，LLM会自动生成新的 Playwright 参数，无需针对每个网站编写专属爬虫代码，适配效率提升 80% 以上；
• 全流程智能化，减少人工干预：从指令解析到代码生成，再到内容提取，全程由 LLM 驱动，开发者仅需审核最终结果，大幅降低维护成本；
• 动态场景覆盖全面：结合 Playwright 的 JS 渲染能力与双 LLM 的智能决策，可应对复杂交互场景（如需要登录的会员页面、需点击展开的详情数据）；
• 解析精准度高：LLM结合用户原始指令与 HTML 语义标签，可避免误提取（如区分 “手机价格” 与 “配件价格”），数据准确率比传统规则解析高 15%~20%。

该范式不足

• 依赖 LLM 指令理解能力：若用户指令模糊（如 “爬取热门商品” 未定义 “热门” 标准），LLM可能生成错误的 Playwright 参数（如采集推荐页而非销量榜），导致爬取方向偏离；
• 故障排查难度大：若采集失败（如未获取到数据），需同时排查 LLM参数生成逻辑、Playwright 执行过程、LLM 解析规则等各个环节，定位问题相对比较复杂。

3、Crawl4AI+LLM：简单高效范式

“LLM+Playwright”范式是由大模型驱动的，具体流程可以由用户自行指定，可以灵活适配复杂页面场景需要。

而本范式则是将 LLM 能力原生集成到面向大模型优化的爬虫框架中（如 Crawl4AI），其“网页爬取 - 数据预处理 - LLM 解析” 的核心逻辑和流程是由Crawl4AI框架统一封装好的，用户只需要遵循框架规范进行配置即可使用，适用于页面复杂度不是特别高、但可靠性要求高、追求快速落地的场景。具体实现步骤如下：

（1）框架配置与爬取触发：基于 Crawl4AI 等框架，通过简单配置（如目标 URL、爬取深度、过滤规则）发起采集任务。这类框架原生支持 JS 渲染、基础反爬（如动态 UA、请求间隔控制），无需额外集成无头浏览器，可直接获取包含完整语义标签的 HTML 结果（如电商商品页的

（2）爬取结果预处理：框架自动对 HTML 进行清洗（如去除冗余广告标签、补全残缺标签），输出符合标准 HTML 规范的内容。例如，Crawl4AI 会过滤

（3）LLM 内置解析：框架通过 API 或本地调用 LLM，将预处理后的 HTML 与用户采集指令（如 “提取商品名称、价格、库存”）一同传入。LLM 基于 HTML 的标题描述标签（如 “product-name” 明确指向商品名称），直接输出结构化数据（如 JSON），无需开发者在框架与 LLM 之间手动传递数据。

案例实践

和上面一个范式一样，还是以采集某网站行政许可相关数据为例，来展示具体配置和实现步骤：

1. 环境准备：安装好 crawl4ai框架，公网deepseek的api-key等；
2. 创建爬虫采集配置类，代码如下所示，其中wait_for和wait_for_timeout两个参数很关键，由于该网站是动态加载的，所以需要等到目标CSS渲染之后才能进行网页内容爬取：

crawler_config = CrawlerRunConfig( cache_mode=CacheMode.BYPASS, wait_until="domcontentloaded", # wait until the DOM of the page has been loaded page_timeout=1800000000, wait_for=".contentDiv .tableList .title_txt", wait_for_timeout=150000000, css_selector="#newsList")

3. 定义大模型解析内容的策略类，这里选择公网的deepseek满血版模型，Crawl4AI最新版已经原生支持deepseek模型了，不需要自己自定义模型Provider扩展类。

llm_config = LLMConfig(provider="deepseek/deepseek-chat",api_token="请输入API-KEY")strategy = LLMExtractionStrategy( llm_config=llm_config, instruction="请根据采集的网页内容，帮我提取行政相对人名称",)

4、执行代码最终大模型返回的结果如下：

完整的案例代码如下：

import asynciofrom crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig, CacheMode, LLMExtractionStrategy, LLMConfigfrom crawl4ai.async_crawler_strategy import AsyncPlaywrightCrawlerStrategyfrom dotenv import load_dotenvload_dotenv()asyncdefmain(): # Browser configuration browser_config = BrowserConfig( headless=True, browser_mode='dedicated', user_agent='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Safari/537.36', ) # Crawler configuration crawler_config = CrawlerRunConfig( cache_mode=CacheMode.BYPASS, wait_until="domcontentloaded", # wait until the DOM of the page has been loaded page_timeout=1800000000, wait_for=".contentDiv .tableList .title_txt", wait_for_timeout=150000000, css_selector="#newsList" ) cs = AsyncPlaywrightCrawlerStrategy(browser_config=browser_config) llm_config = LLMConfig(provider="deepseek/deepseek-chat",api_token="请输入API-KEY") strategy = LLMExtractionStrategy( llm_config=llm_config, instruction="请根据采集的网页内容，帮我提取行政相对人名称", ) # Run the AI-powered crawler asyncwith AsyncWebCrawler(crawler_strategy=cs) as crawler: result = await crawler.arun( config=crawler_config, url="http://credit.xxxxxx.cn/list_sgs.shtml?id=4bb7bd0997804feeb2d4d1e7065bd026", extraction_strategy=strategy ) print(f"Parsed Markdown data:n{result.markdown}") ``````plaintext if __name__ == "__main__": # asyncio.run(craw()) asyncio.run(main())

二、该范式优点

• 单框架集成，降低适配成本：无需同时部署爬虫框架（如 Scrapy）与大模型应用开发框架（如 Dify），通过一套 AI 框架即可完成 “爬取 - 解析” 闭环，减少跨工具数据流转的损耗；
• 工程化能力更强：框架自带并发控制、失败重试、日志监控等功能；
• HTML 清洗提升解析效率：框架预处理后的 HTML 去除冗余信息，LLM 无需处理无关标签，解析速度提升 30%~50%，同时降低 “幻觉” 概率。

该范式不足

• 灵活性不足，适配特殊场景难：Crawl4AI框架内置的爬取逻辑（如标签过滤规则、反爬策略）固定，难以应对特殊网页结构（如自定义加密标签的页面），相比而言LLM + Playwright范式更灵活，特别复杂场景还可以手动调整playwright脚本；
• 功能扩展性有限：Crawl4AI框架通常仅支持 “爬取 - 解析” 基础流程，难以集成数据可视化、多源数据融合等个性化需求，需额外开发插件。

三、结论与展望

LLM的兴起为RPA网页数据采集领域带来了一场深刻的革命。它通过强大的语义理解和推理能力，将这项工作者从繁琐、脆弱、高维护成本的“工程”任务，转变为一个更智能、更鲁棒、更高层次的“认知”任务。

我们不再需要穷尽心力去分析每一棵DOM树的结构，而是可以直接告诉机器我们想要什么数据。从而使得数据采集由编码驱动转向了指令驱动，这也是目前业界基于LLM应用的通用范式。

但需要强调的是，LLM并非要完全取代传统RPA技术，相反，它是为传统工具赋予了“大脑”。未来的最佳实践必然是两者的结合：LLM负责解析人类的指令需求和意图，然后调用传统工具进行高效的数据下载和调度，再利用LLM进行复杂的内容解析、决策和异常处理。这种“工具”与“大脑”的协同，将使我们能够以更低的成本、更高的效率，从纷繁复杂的互联网世界中挖掘出更有价值的信息。

在以上初步实践基础上，还可以提升的方向包括：

自主智能体：未来的爬虫将是一个高度自主的AI智能体（Agentic Crawler），能够自行规划采集路径、识别并绕过反爬虫措施、处理异常情况，并能从失败中学习进化。

多模态融合：未来的LLM爬虫不仅能理解文本，还能解析图片、图表、视频中的信息，真正实现全模态数据采集。

工程化封装：无论前面验证的哪种方式，问题定位都是个难题，当出现数据采集失败时（如网页爬取不到、解析结果缺失），难以定位是 “采集工具问题”、“大模型问题” 还是 “提示词问题”，技术支持成本高，所以需要进行工程化封装，需要将采集和解析过程日志加以详细记录，并提供可视化结果展示和过程跟踪，方便问题定位和排查。

业务化封装：回到本文初衷，要降低传统RPA采集技术门槛，提升采集配置效率，无论使用以上哪种范式，都需要进行业务化封装，为了让业务人员能够配置使用，需要提供相应的业务化配置界面，用户只需要输入要采集的URL，以及要采集的中文要素信息即可。

本文说明：本文因为太长所以会分成上下两篇发表以方便阅读，分别描述了三种不同的范式和案例，读者可对比查看上篇内容。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】