ScrapydWeb是一个用于Scrapyd集群管理的Web应用程序，可以有效地管理分布式Web抓取项目。在将SCRAPY_PROJECTS_DIR选项设置为包含Scrapy项目的路径之后，ScrapydWeb将列出该目录中的所有项目，并选择最新修改的项目。只需选择一个项目并按按钮即可提交，然后在后台自动打包。
软件特色
💠 Scrapyd集群管理
💯 支持所有Scrapyd JSON API
☑️ 分组，过滤和选择任意数量的节点
🖱️ 只需单击几下即可在多节点上执行命令
🔍 Scrapy日志分析
📊 统计资料收集
📈 进度可视化
📑 日志分类
🔋 增强功能
📦 汽车包装
🕵️♂️ 与整合 🔗 LogParser
⏰ 计时器任务
📧 监控和警报
📱 行动使用者介面
🔐 Web UI的基本身份验证
浏览器支持
最新版本的Google Chrome，Firefox和Safari。
使用说明
访问http://127.0.0.1:5000，然后使用上面的USERNAME / PASSWORD登录。
服务器页面将自动显示所有Scrapyd服务器的工作状态。您可以通过分组和过滤来选择任意数量的Scrapyd服务器，然后只需单击几下即可在群集上调用Scrapyd的HTTP JSON API。
与LogParser集成后，“作业”页面可以自动显示您的抓取作业的页面和项目信息。默认情况下，ScrapydWeb会定期创建您的抓取作业的快照并将其保存在数据库中，以避免在重新启动Scrapyd服务器时丢失作业信息。
更新内容
新的功能
添加用于通过Slack，Email发送文本或警报的API
改进之处
侧边栏和多节点按钮上的UI改进
其他
将配置文件更新为scrapydweb_settings_v10.py
标签： 爬虫工具
-
本类热门推荐本类热门标签
-
详情
Tablesaw (数据可视化工具)官方版v0.38.1
15.26MB / 3分
-
详情
DailyPaper(日报api接口) 绿色版v3.0.7
42MB / 3分
-
详情
枫叶单本小说系统 免费版v1.0
5.39MB / 3分
-
详情
悟空crm 免费开源版9.0
60.01MB / 3分
-
详情
Alternate WebshopEngine Lite 免费版V1.520
1.92MB / 3分
-
详情
WordPress 官方最新版
9.39MB / 3分
-
详情
owncloud源码 V10.0.9
51KB / 3分
-
详情
-
7 简单搜索天气组件
装机必备软件
网友评论