祀梦
7bc6d4e4de
feat: JSON 配置、质量分与仪表盘，及设置与爬取流程
...
- 后端改为 config/app.json；pytest 使用 config/app.test.json 与 set_config_file，不再依赖环境变量；移除 pydantic-settings。
- 前端 API/WebSocket 由 config/webui.json 经 Vite define 注入。
- 代理分数按延迟与随机取用次数计算，新增 use_count 与 proxy_scoring；保存设置时同步调度器启停。
- 仪表盘双饼图（可用/待验证协议）；设置页去掉调度器启停按钮并移动立即验证；爬取全部结束后自动提交全量验证。
- 删除 script/settings_maintain.py（此前已标记删除）。
Made-with: Cursor
2026-04-05 16:08:32 +08:00
祀梦
07248ff4ee
feat(crawl): browser-like headers, HTTP/2, curl_cffi TLS fingerprint fallback
...
- get_headers(url): Referer, Sec-Fetch-*, sec-ch-ua, API vs HTML Accept
- httpx AsyncClient/ sync Client with optional HTTP/2 (h2 extra)
- On 403/429/503/520-523/525/567 or request errors, retry via curl_cffi chrome124 impersonate
- POST: Origin, Referer, Content-Type for form posts
- kuaidaili/ip3366: forward get_headers(url=...)
Made-with: Cursor
2026-04-05 14:40:36 +08:00
祀梦
4ef7931941
fix: 全面修复代码问题并优化架构
...
修复问题：
- 添加缺失的 httpx 依赖到 requirements.txt
- 修复前端批量删除参数格式与后端不匹配（数组->对象数组）
- 移除 app/api/main.py 中重复创建 app 的冗余代码
- 修复 Plugins.vue v-model 直接修改 store 状态的 Vue 警告
- 修复 README 端口/启动命令文档与实际配置不一致
- 修正 pytest.ini 过时配置 (asyncio_default_fixture_loop_scope)
- 修复 WebUI index.html 语言设置为 zh-CN
- 修复 .gitignore 错误忽略 tests/ 目录
后端优化：
- 修复调度器默认间隔从 5 秒改为 30 分钟，避免无节制验证
- 修复 validate_all_now 在调度器停止时无法执行的 bug
- 设置保存后热更新运行中调度器的验证间隔
- 将 update_score 优化为原子单事务 SQL，消除并发竞态
- 导出功能改为真正的流式分批读取（iter_batches），降低大导出内存占用
- ProxyResponse Schema 补齐 response_time_ms 字段
- 日志级别改为从配置动态读取，不再硬编码 INFO
- 清理 validator_service 中的冗余 try/finally 代码
插件健壮性：
- 修复 ip3366/ip89/kuaidaili/proxylist_download/speedx/yundaili/proxyscrape
的端口范围检查和 IPv6 地址解析问题（改用 rsplit + 1-65535 校验）
- 修复 PluginService.list_plugins 并发竞争条件
- 修复 run_all_plugins 去重逻辑与数据库 UNIQUE 约束保持一致
- 修复 proxyscrape 异常时错误跳过 fallback 的 bug
测试：
- 新增 7 个插件解析单元测试
- 新增 update_score 自动删除和 iter_batches 流式读取测试
- 全部 74 个测试通过
2026-04-04 21:03:43 +08:00
祀梦
b77641f059
全面清理冗余与过度分层
...
后端优化：
- 合并 api/routes/stats.py 到 api/routes/proxies.py，统计接口变更为 /api/proxies/stats
- 内联 services/settings_service.py：settings.py 和 scheduler.py 直接使用 SettingsRepository
- 简化 repositories/proxy_repo.py：提取 _row_to_proxy 辅助函数，消除重复构造代码
- 更新 api/lifespan.py 和 api/deps.py，移除对 settings_service 的依赖
- 从 requirements.txt 移除 websockets 依赖（已废弃的 WebSocket 功能残留）
前端适配：
- 更新 frontend/src/api/index.js：stats 接口路径同步为 /api/proxies/stats
- 清理 api/index.js 中未使用的 createRequestConfig 和多余 JSDoc 注释
脚本优化：
- 移除 script/stop.bat 末尾的 pause，避免自动化调用时挂起
2026-04-02 12:26:22 +08:00
祀梦
209a744d94
全面架构重构：建立分层架构与高度可扩展的插件系统
...
后端重构：
- 新增分层架构：API Routes -> Services -> Repositories -> Infrastructure
- 彻底移除全局单例，全面采用 FastAPI 依赖注入
- 新增 api/ 目录拆分路由（proxies, plugins, scheduler, settings, stats）
- 新增 services/ 业务逻辑层：ProxyService, PluginService, SchedulerService, ValidatorService, SettingsService
- 新增 repositories/ 数据访问层：ProxyRepository, SettingsRepository, PluginSettingsRepository
- 新增 models/ 层：Pydantic Schemas + Domain Models
- 重写 core/config.py：采用 Pydantic Settings 管理配置
- 新增 core/db.py：基于 asynccontextmanager 的连接管理，支持数据库迁移
- 新增 core/exceptions.py：统一业务异常体系
插件系统重构（核心）：
- 新增 core/plugin_system/：BaseCrawlerPlugin + PluginRegistry
- 采用显式注册模式（装饰器 + plugins/__init__.py），类型安全、测试友好
- 新增 plugins/base.py：BaseHTTPPlugin 通用 HTTP 爬虫基类
- 迁移全部 7 个插件到新架构（fate0, proxylist_download, ip3366, ip89, kuaidaili, speedx, yundaili）
- 插件状态持久化到 plugin_settings 表
任务调度重构：
- 新增 core/tasks/queue.py：ValidationQueue + WorkerPool
- 解耦爬取与验证：爬虫只负责爬取，代理提交队列后由 Worker 异步验证
- 调度器定时从数据库拉取存量代理并分批投入验证队列
前端调整：
- 新增 frontend/src/services/ 层拆分 API 调用逻辑
- 调整 stores/ 和 views/ 使用 Service 层
- 保持 API 兼容性，页面无需大幅修改
其他：
- 新增 main.py 作为新入口
- 新增 DESIGN.md 架构设计文档
- 更新 requirements.txt 增加 pydantic-settings
2026-04-02 11:55:05 +08:00
祀梦
a79f78b338
重构代理池系统：简化架构并增强核心功能
...
后端变更：
- 移除 tasks_manager.py 和 core/auth.py，简化架构
- 新增 core/scheduler.py 验证调度器，替代原有任务管理
- 大幅优化 api_server.py：统一错误处理、增强参数验证、支持调度器控制
- validator.py 增强 SOCKS4/SOCKS5 代理验证支持
- config.py 清理废弃配置（WebSocket、API Key、认证开关）
- SQLite 数据库操作性能优化
前端变更：
- 移除任务管理页面 (CrawlerTasks) 和 WebSocket 相关代码
- 路由简化为 4 个核心页面：总览、代理列表、插件管理、设置
- 提取前端工具函数（clipboard、confirm、format）和 API 类型定义
- 优化 CSS 架构：完善 variables、utilities、element-plus 样式
- Dashboard、Plugins、ProxyList、Settings 页面 UI/UX 优化
- App.vue 响应式侧边栏和页面过渡动画优化
其他：
- 移除 PowerShell 启动脚本，简化 Windows 批处理脚本
- 新增 README_SOCKS.md SOCKS 代理支持文档
- .env.example 和 .gitignore 更新
2026-04-02 11:23:23 +08:00
祀梦
b06044c91c
first commit
2026-01-27 21:17:36 +08:00
