You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 
 
 
17ba9ee9dc 优化执行层上下文管理器架构;优化FFMPEG请求器;修复若干BUG。 3 months ago
app 优化执行层上下文管理器架构;优化FFMPEG请求器;修复若干BUG。 3 months ago
doc 程序原型开发完成。 7 months ago
requester 优化执行层上下文管理器架构;优化FFMPEG请求器;修复若干BUG。 3 months ago
script 优化执行层上下文管理器架构;优化FFMPEG请求器;修复若干BUG。 3 months ago
.gitattributes 各种小修复和小优化;初步添加WEB UI模型 7 months ago
LICENSE 上传正在开发项目VideoCrawlerEngine. 7 months ago
README.md 程序原型开发完成。 7 months ago
__init__.py 上传正在开发项目VideoCrawlerEngine. 7 months ago
config.py 优化执行层上下文管理器架构;优化FFMPEG请求器;修复若干BUG。 3 months ago
contextmgr.py 优化执行层上下文管理器架构;优化FFMPEG请求器;修复若干BUG。 3 months ago
contexts.py 优化执行层上下文管理器架构;优化FFMPEG请求器;修复若干BUG。 3 months ago
debugger.py 优化执行层上下文管理器架构;优化FFMPEG请求器;修复若干BUG。 3 months ago
entrypoint.py 优化执行层上下文管理器架构;优化FFMPEG请求器;修复若干BUG。 3 months ago
flow.py 优化执行层上下文管理器架构;优化FFMPEG请求器;修复若干BUG。 3 months ago
layer.py 优化执行层上下文管理器架构;优化FFMPEG请求器;修复若干BUG。 3 months ago
main.py 优化执行层上下文管理器架构;优化FFMPEG请求器;修复若干BUG。 3 months ago
requirements.txt 程序原型开发完成。 7 months ago
uitls.py 优化执行层上下文管理器架构;优化FFMPEG请求器;修复若干BUG。 3 months ago
worker.py 优化执行层上下文管理器架构;优化FFMPEG请求器;修复若干BUG。 3 months ago

README.md

VideoCrawlerEngine

视频爬取引擎

视频爬虫引擎是以自定义脚本为草图,生成请求器工作流,实现可控可视的流水线执行。 意在提高脚本的开发效率,让开发者专注于解决反爬。

WEB UI

UI 1 UI 2

环境搭建

pip install -r requirements.txt

使用方法

python main.py

架构草图

架构草图

Requirements

  • Python >= 3.6
  • Nbdler >= 3.0.3
  • PyJSCaller >= 0.2.0
  • Flask

许可证

Apache-2.0

TODO

关于

项目已完成初步开发,后续的开发主要倾向于功能的完善和修复漏洞。