| 项目 | 名称 | 文件 | 链接 |
| ---- | ---- | ---- | ---- |
| 巨丰 | 巨丰内参 | reference.py | http://www.jfinfo.com/reference |
| 巨丰 | 港股资讯 | reference.py | http://www.jfinfo.com/reference/HK |
| 巨丰 | 投资者教育 | reference.py | http://www.jfinfo.com/reference/tzzjy |
| 巨丰 | 巨丰研究院 | reference.py | http://www.jfinfo.com/research |
| 大公网 | 港股频道 | | http://finance.takungpao.com/hkstock/ |
| 大公网 | 财经时事 | hkstock_cjss.py | http://finance.takungpao.com/hkstock/cjss/ |
| 大公网 | 公司要闻 | hkstock_cjss.py | http://finance.takungpao.com/hkstock/gsyw/ |
| 大公网 | 机构视点 | hkstock_cjss.py | http://finance.takungpao.com/hkstock/jgsd/ |
| 大公网 | 全球股市 | hkstock_cjss.py | http://finance.takungpao.com/hkstock/qqgs/ |
| 大公网 | 国际聚焦 | hkstock_cjss.py | http://finance.takungpao.com/hkstock/gjjj/|
| 大公网 | 经济一周 | hkstock_cjss.py | http://finance.takungpao.com/hkstock/jjyz/|
| 大公财经 | 风口 | takungpao_fk.py | http://finance.takungpao.com/fk/|
| 大公财经 | 旅游 | takungpao_travel.py | http://finance.takungpao.com/travel/|
| 大公财经 | 中国经济 | zhongguojingji.py | http://www.takungpao.com/finance/236132/index.html |
| 大公财经 | 香港财经 | zhongguojingji.py | http://www.takungpao.com/finance/236131/index.html |
| 大公财经 | 国际经济 | zhongguojingji.py | http://www.takungpao.com/finance/236133/index.html|
| 大公财经 | 经济观察家 | economic_observer.py | http://www.takungpao.com/finance/236134/index.html|
| 大公财经 | 港股 | zhongguojingji.py |http://www.takungpao.com/finance/236135/index.html|
| 大公财经 | 地产 | zhongguojingji.py |http://www.takungpao.com/finance/236136/index.html |
| 大公财经 | 商业 | zhongguojingji.py |http://www.takungpao.com/finance/236137/index.html |
| 巨潮资讯 | 最新/股票/基金/数据 | juchao.py | http://webapi.cninfo.com.cn/|
| 网易财经 | | netease_money.py | https://money.163.com/|
| 上海证券报| 上证 4 小时 | cn_4_hours.py | http://www.cnstock.com/ |
| 上海证券报| 宏观、金融等 | cn_hongguan.py | http://www.cnstock.com/ |
| 财新社 | 电报 | telegraphs.py | https://www.cls.cn/telegraph |
| 交易所日历新闻 | | news_release.py | https://sc.hkex.com.hk/TuniS/www.hkex.com.hk/News/News-Release?sc_lang=zh-HK&Year=ALL&NewsCategory=¤tCount=10 |
| 东财财富号 | | ca_spider.py | http://so.eastmoney.com/CArticle/s?keyword=%E6%A0%BC%E5%8A%9B%E7%94%B5%E5%99%A8&pageindex=1 |
| 淘股吧 | | taoguba.py | https://www.taoguba.com.cn/quotes/sz000651 |
| 官媒 | 中国银行-数据解读 | china_bank.py | http://www.pbc.gov.cn/diaochatongjisi/116219/116225/11871/index1.html |
| 官媒 | 中国银行-新闻发布 | china_bank.py | http://www.pbc.gov.cn/goutongjiaoliu/113456/113469/11040/index1.html |
| 官媒 | 国家统计局-数据解读 | gov_stats_sjjd.py | http://www.stats.gov.cn/tjsj/sjjd/index.html |
| 官媒 | 国家统计局-统计动态 | gov_stats_tjdt.py | http://www.stats.gov.cn/tjgz/tjdt/index.html |
| 官媒 | 国家统计局-新闻发布会 | gov_stats_xwfbh.py | http://www.stats.gov.cn/tjsj/xwfbh/fbhwd/index.html |
| 官媒 | 国家统计局-最新发布 | gov_stats_zxfb.py | http://www.stats.gov.cn/tjsj/zxfb/index.html |
| 网贷天眼查 | | P2Peye/p2peyespider.py | https://news.p2peye.com/ |
| 牛仔网评论 | | CN966/9666pinglun.py | http://pinglun.9666.cn |
| 经济观察网 | | EEOFinance/eeospider.py | http://www.eeo.com.cn/ |
| 搜狐财经 | | sohu/sohu_spider.py | https://m.sohu.com/ch/15 |
| 第一财经新闻 | | YiCai/yicai_spider.py | https://www.yicai.com/ |
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
爬虫(Web Crawler)是一种自动化程序,用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储,以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤: URL收集: 爬虫从一个或多个初始URL开始,递归或迭代地发现新的URL,构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页: 爬虫使用HTTP或其他协议向目标URL发起请求,获取网页的HTML内容。这通常通过HTTP请求库实现,如Python中的Requests库。 解析内容: 爬虫对获取的HTML进行解析,提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据,如文本、图片、链接等。 数据存储: 爬虫将提取的数据存储到数据库、文件或其他存储介质中,以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则: 为避免对网站造成过大负担或触发反爬虫机制,爬虫需要遵守网站的robots.txt协议,限制访问频率和深度,并模拟人类访问行为,如设置User-Agent。 反爬虫应对: 由于爬虫的存在,一些网站采取了反爬虫措施,如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用,包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。
资源推荐
资源详情
资源评论
收起资源包目录
极简爬虫工作流.zip (115个子文件)
Dockerfile 340B
Dockerfile_broadcast 347B
Dockerfile_shdiff 373B
Dockerfile_shlist 348B
Dockerfile_szdiff 341B
Dockerfile_szhistory 351B
.gitignore 1KB
README.md 4KB
README.md 3KB
README.md 198B
agents.py 48KB
demo.py 26KB
reference.py 24KB
afterAfficheList.py 24KB
origin_schedule.py 21KB
sz_diff.py 17KB
reference.py 17KB
base.py 13KB
kuaixun.py 13KB
loader0439.py 13KB
docker_main.py 11KB
sz_history_spider.py 11KB
base.py 10KB
save2sql.py 10KB
sz_report.py 9KB
eeospider.py 9KB
margin_broadcast.py 9KB
taoguba.py 9KB
sh_diff.py 8KB
check_1.py 8KB
sh_report.py 8KB
sql_base.py 7KB
stcn_utils.py 7KB
sh_detail_spider.py 7KB
9666pinglun.py 7KB
daemon.py 7KB
sh_list_spider.py 7KB
p2peyespider.py 6KB
zhongguojingji.py 6KB
news_release.py 6KB
sh_file_list_spider.py 6KB
juchao.py 6KB
tools.py 6KB
gov_stats_sjjd.py 6KB
depth.py 5KB
sohu_spider.py 5KB
qq_stock.py 5KB
cn_hongguan.py 5KB
bloom_filter_service.py 5KB
china_bank.py 5KB
main_switch.py 5KB
cls_details.py 5KB
demo_1.py 5KB
loader.py 5KB
cn_4_hours.py 5KB
ca_spider.py 4KB
sql_pool.py 4KB
docker_start.py 4KB
demo_1.py 4KB
base_stcn.py 4KB
hkstock_cjss.py 4KB
telegraphs.py 4KB
takungpao_travel.py 4KB
yicai_spider.py 4KB
boardcast_analyze.py 3KB
base.py 3KB
netease_money.py 3KB
cctv_spider.py 3KB
configs.py 3KB
demo_1.py 3KB
configs.py 3KB
base_spider.py 3KB
run.py 2KB
economic_observer.py 2KB
ca_main.py 2KB
demo_2.py 2KB
takungpao_main.py 2KB
gov_stats_tjdt.py 2KB
sftp_tools.py 2KB
tgb_main.py 2KB
takungpao_fk.py 2KB
gov_stats_zxfb.py 2KB
tgb_test.py 2KB
gov_stats_xwfbh.py 2KB
demo_1.py 2KB
simple_func.py 2KB
gov_main.py 1KB
sche_catch_exception.py 1KB
mongodb_service.py 1KB
func_deco_test.py 1KB
demo_2.py 1KB
queue_schedule_test.py 1KB
merge_csv.py 1KB
overall_index_spider.py 1KB
jfinfo_main.py 1KB
schedule_cancel_test.py 1KB
cn_main.py 1KB
demo_2.py 1009B
demo_3.py 973B
thread_schedule_run.py 885B
共 115 条
- 1
- 2
资源评论
JJJ69
- 粉丝: 6374
- 资源: 5917
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 三菱FX3U 步进电机算FB块 FB块的使用可以使程序模块化简单化,进而提高了程序的稳定性和可移植性 此例中使用FB块,可以实现步进电机的算,已知距离求得脉冲数,已知速度可以求得频率 程序中包含
- 双向隔离DCDC仿真simulink
- 基于PSO粒子群PID控制器参数整定粒子群PID psopid 基于粒子群算法整定PID控制器,实现PID控制器参数的自整定(PSO-PID) matlab编写,源码注释详细具体如图,评价指标详
- 3567954014871001-进程的概念.zip
- 伺服电机、步进电机通用的S曲线及梯形加减速控制源码,十分经典,有中文注释及实现原理说明 系前期从某高手卖家处高价购得(技术源头实为国外专业公司) 本人已经在多个自动化控制系统中采用,为摊低成本故低
- DSP28335的Svpwm处理器在环仿真(matlab simulink)
- cruise模型,增程汽车仿真模型,恒功率控制 关于模型: 1.模型是个base模型,基于cruise simulink联合仿真,主要实现恒功率控制以及电制动优先的能量回收策略,主要供学习使用
- Polarion表结构
- ssm中小型企业财务管理系统+jsp.zip
- ssm珠宝首饰交易平台开发+jsp.zip
- ssm助学贷款+jsp.zip
- ssm职工健康每日申报系统设计+vue.zip
- ssm在线作业管理系统的设计与实现+vue.zip
- ssm中国咖啡文化宣传网站的设计与实现+vue.zip
- FIFO verilogIP 包括深度为1的fifo 包括普通同步FIFO和异步FIFO,均为first word fall through模式,同步fifo三种写法,异步fifo三种写法,可参
- ssm在线医疗服务系统+jsp.zip
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功