注册
登录
会员
搜索
标签
统计
帮助
疯狂的程序员
»
技术交流
» (转)用ruby写一个爬虫程序捉取《疯狂的程序员》
搜索
‹‹ 上一主题
|
下一主题 ››
发新话题
发布投票
发布商品
发布悬赏
发布活动
发布辩论
发布视频
打印
(转)用ruby写一个爬虫程序捉取《疯狂的程序员》
绝影
版主
发短消息
加为好友
当前离线
1
#
大
中
小
发表于 2008-7-13 21:19
只看该作者
(转)用ruby写一个爬虫程序捉取《疯狂的程序员》
最近在CSDN的一个blog上看到一篇网络小说连载《疯狂的程序员》,看了头几篇来了兴趣,就准备都弄下来放到手机上看。小说到现在连载到50多集,前面试读的几篇都是手工复制到文本文件,虽然说手工50多次ctrl+c, ctrl+v也不是特别麻烦,但学过编程的人心理就是会觉得做这档事会不爽^^ 于是就决定用ruby写个爬虫程序来搞定这个小任务。
相关链接:
ruby的html实体转换库:HTMLEntities(
http://htmlentities.rubyforge.org/
)
String.scan()文档:
http://www.ruby-doc.org/core/classes/String.html#M000827
String.gsub!()文档:
http://www.ruby-doc.org/core/classes/String.html#M000839
源代码压缩包中有两个文件,csdn_crawler.rb是视频中用到的代码,csdn_crawler2.rb是在csdn_crawler.rb基础上处理了一写额外问题的,并加入注释,方便阅读。
* 视频下载地址:
* ==>
点击这里下载ruby写爬虫程序视频教程
* ==>
点击这里下载ruby写爬虫程序源代码
* 解压密码:
www.17rumen.com
UID
4
帖子
19
精华
2
积分
4
阅读权限
100
在线时间
3 小时
注册时间
2008-5-8
最后登录
2008-7-17
查看详细资料
TOP
Gavin
初级程序员
发短消息
加为好友
当前离线
2
#
大
中
小
发表于 2008-7-15 13:53
只看该作者
哦,哦,有没有 python的?
JavaFlag IT学习的指南针
UID
144
帖子
10
精华
0
积分
0
阅读权限
10
在线时间
6 小时
注册时间
2008-5-28
最后登录
2008-9-4
查看详细资料
TOP
leisdieu
初级程序员
发短消息
加为好友
当前离线
3
#
大
中
小
发表于 2008-7-20 01:34
只看该作者
初来乍到
ruby会点 下来研究研究
UID
434
帖子
3
精华
0
积分
0
阅读权限
10
在线时间
3 小时
注册时间
2008-7-20
最后登录
2008-8-28
查看详细资料
TOP
eardyliu
初级程序员
发短消息
加为好友
当前离线
4
#
大
中
小
发表于 2008-7-20 14:57
只看该作者
这个程序好啊!
UID
436
帖子
1
精华
0
积分
0
阅读权限
10
在线时间
0 小时
注册时间
2008-7-20
最后登录
2008-7-20
查看详细资料
TOP
北纬31度
初级程序员
发短消息
加为好友
当前离线
5
#
大
中
小
发表于 2008-7-23 10:57
只看该作者
谁写个PYTHON的
UID
18
帖子
69
精华
0
积分
0
阅读权限
10
在线时间
26 小时
注册时间
2008-5-9
最后登录
2008-9-12
查看详细资料
TOP
77604644
初级程序员
发短消息
加为好友
当前离线
6
#
大
中
小
发表于 2008-9-9 12:05
只看该作者
谁有perl的啊,呵呵,好像中国的perl不是太时兴哦
UID
345
帖子
13
精华
0
积分
0
阅读权限
10
在线时间
0 小时
注册时间
2008-7-1
最后登录
2008-9-9
查看详细资料
TOP
‹‹ 上一主题
|
下一主题 ››
公告
论坛公告
小说
《疯狂的程序员》小说连载
《疯狂的程序员》讨论区
技术
技术交流
趣味逻辑
程序员培训
生活
疯狂故事
爱情家庭
开怀一笑
海阔天空
站务
意见建议