语言模型 专题

多线程网络爬虫：递归爬取并为页面创建 Markdown 文件

markdown_crawler是一个多线程网络爬虫，能递归地爬网站，并生成Markdown文件，专为大型语言模型设计。