我正在做的一个采集器

hay · 发表于 2006-11-3

觉得现在能找到的采集器都有各种各样的问题，还是自己做一个来用算了。

先放个预览图片给大家看看，希望自己能坚持把它做完，呵呵，我这人挺没耐心的。

刚才有了个更好的主意，看来要先把这个东西放两天再继续了。

hay · 发表于 2006-11-14

原帖由 sunya 于 2006-11-6 04:05 发表晕，我感觉采集器应该是个“寄生虫”而不是文本筛选器。

呵呵。大概就是大站更新了，寄生虫程序就跟着更新，如果没更新，那我也不更新。

同时多个频道，多线程实现程序http读文本。

火车3.0是可以使用定时任务的，如果时间设置上比较合适的话，基本上可以实现与采集源同步更新，呵呵，

发现火车3还是有些问题，比如：如果采集源速度慢的话，文章下载成功率就会很低，

我现在测试的方法是：flashget或者nettransport批量下载，程序自动分析、提取入库。

123mmm · 发表于 2006-11-14

原帖由 sunya 于 2006-11-6 04:05 发表晕，我感觉采集器应该是个“寄生虫”而不是文本筛选器。

呵呵。大概就是大站更新了，寄生虫程序就跟着更新，如果没更新，那我也不更新。

同时多个频道，多线程实现程序http读文本。

对这样的程序很感趣，想不想换包烟钱?

sunya · 发表于 2006-11-5

晕，我感觉采集器应该是个“寄生虫”而不是文本筛选器。

呵呵。大概就是大站更新了，寄生虫程序就跟着更新，如果没更新，那我也不更新。

同时多个频道，多线程实现程序http读文本。

songhome · 发表于 2006-11-5

原帖由 loveusd 于 2006-11-5 18:10 发表

www.locoy.com

去不到呢,hoho

那這些文章可以應用到什麼的後台管理系統去應用?

loveusd · 发表于 2006-11-5

原帖由 songhome 于 2006-11-5 16:40 发表

可以給我網址嗎? 火車 3.0

主要應用在那個軟件

謝謝你的答覆

www.locoy.com

songhome · 发表于 2006-11-5

原帖由 loveusd 于 2006-11-5 08:23 发表
把用手工添加文章的工作,教給了機器麳完成.可以幾千幾萬的麳添加.

可以給我網址嗎? 火車 3.0

主要應用在那個軟件

謝謝你的答覆

loveusd · 发表于 2006-11-5

原帖由 MatthewSong 于 2006-11-3 11:42 发表誰告訴我你們這樣做有何用的 ?

把用手工添加文章的工作,教給了機器麳完成.可以幾千幾萬的麳添加.

hay · 发表于 2006-11-4

这个软件不会再做下去了，

今天发现火车头发布了3.0版本，感觉还可以了，

songhome · 发表于 2006-11-4

原帖由 sunya 于 2006-11-3 23:32 发表晕，我给我的主站每天定量采集更新50个。

质量很高。完全不用手动。出现可预计的错误可以判断的乱码类的。

主站一天也更新不多，三五篇文章或者其它。

可以教我怎做嗎

		自动登录	找回密码
密码			注册