使用 Ruby 编写 Web 定向爬虫

Spider

Anemone

Anemone官方介绍

Anemone是一个Ruby库,使用他可以快速、无痛的编写抓取一个网站的爬虫。 他提供简单的DSL执行每一个页面的方法,跳过某些URLs,计算每一个页面的最短路径。

多线程使用Anemone更快速,简单的API,和Ruby语言的表现力使用它更强大。

Mechanize

This entry was posted in ruby on rails and tagged , , . Bookmark the permalink.

发表评论

电子邮件地址不会被公开。 必填项已用 * 标注

*

您可以使用这些 HTML 标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>