最近试了几个爬虫工具，分享下我的使用体验

最近试了几个爬虫工具，分享下我的使用体验 做 AI Agent 的时候，数据采集是最头疼的环节。 MediaCrawler（45K+ stars） 如果你要做国内社交媒体的内容抓取，这个几乎是唯一选择。 支持的平台很全：小红书、抖音、B站、微博、快手、知乎、百度贴吧。代码质量不错，社区活跃，更新也及时。 唯一的缺点是它专注国内平台，如果你想抓 Twitter，这就帮不上忙了。 Agent-Reach（8K+ stars） 这个工具的口号是"给你的 AI Agent 一双眼睛"。 支持的平台很广：Twitter、Reddit、YouTube、GitHub、B站、小红书。最重要的是它声称零 API 费用，一条命令就能抓取多平台内容。 但我实测下来，它的稳定性存疑。因为它依赖反向工程，平台一更新可能就挂了。如果你是个人项目、预算有限，可以试试；但如果是生产环境，建议还是用官方 API。 jina-cli（226 stars） 一个极简的 URL 解析工具，可以把任意网页转成 LLM 友好的格式（Markdown/Text）。 我用它来快速抓取新闻、博客、文档页面。它的设计理念就是给 AI…