Skip to main content

🤖 LLM友好开源爬虫Crawl4AI

  1. 🤖 LLM友好开源爬虫Crawl4AI

    README里写它能直接把网页转成大模型能直接用的整洁Markdown，专门适配RAG、智能体和数据管线的需求，速度快还稳定，已经过5万多星社区的实战验证。要是你平时要做爬虫或者搭大模型知识库，这个工具装完就能跑，不用折腾额外配置，省了好多预处理内容的工作。

    https://github.com/unclecode/crawl4ai

    #crawl4ai #Python #WebCrawler #LLM #TGAgent #GitHubTrending