网站菜单 |
日记 - 写了一个爬虫
写了一个爬虫。 如题,可爬图片,文本,视频。 代码说明 免责声明 文件顶部添加了免责声明,明确说明本代码仅供学习、测试及研究反爬虫措施使用,使用者需自行承担相关风险和法律责任。 图标识别放弃下载功能 在 download_file 函数中,如果目标文件夹包含 “images”,则利用 Pillow 检查图片的尺寸及文件大小,若满足图标条件(宽高均小于 50 像素或文件体积小于 5KB),则删除该图片并告知用户。 批量爬取功能 用户可以通过临时文件 temp_urls.txt 填写网址,每个网址以空行分隔(支持长网址换行),程序解析后依次爬取。 单个爬取与更新功能 单个网址爬取、批量爬取以及更新爬取(使用历史记录)均提供中文菜单交互界面。 下载:https://dcms.net.cn/user/personalfiles/834/937/?id_file=1898&page=1 ps:仅为分享,无其它意向。 ![]() ![]() 评论: (1) |