爬虫

  • 项目目的: 爬虫是个长期习惯/终身技能, 相关的事都记这里
  • 官方示例
    • 1, 用法极其简单, pip安装, 直接两行调用就行, 且自动加载登录信息, 且能够开插件
  • 关于其他工具为什么不用:
    • 1, selenium: 最古老, 最慢, 我试过, 有模糊痛苦记忆
    • 2, puppeteer: 仅js, 且似乎试过, 插件/登录/上方dev提醒等做得都不好, 安装复杂, 代码复杂
    • 3, playwright: 微软官方维护, 主js, 提供python, 但别人说python版实现起来很复杂/不可用级别. 使用mcp时用过: 插件/登陆/上方dev提醒做得都不够好
  • drissionpage的惊喜:
    • 1, 下载极快极简/无需步骤
    • 2, 打开运行极快(时间), 步骤也极简
    • 3, 功能全包