fabric: 使用Python在集群上执行相同命令的好工具

26 views

当你需要在多个机器上执行相同的指令时,你应该怎么办? * 你可以选择写一个脚本,在脚本中通过ssh连接机器运行命令。* 你可以把命令写成一个脚本,然后将脚本上传到机器上面。然后,在每一台机器上面,运行相同的脚本。但是这两种方式都不够具有弹性而且使用起来比较麻烦,同时你需要在linux脚本编写方面拥有一定的功底。fabric,一个让你通过命令行执行无参数Python函数的工具,一个让通过 SSH 执行 Shell 命令更加 容易 、 更符合 Python 风格 的命令库(建立于一个更低层次的库)。

继续阅读

webdriver 获取的page_sorce 还是js怎么办?

304 views

在使用scrapy、selenium 和 chrome结合爬虫爬取网易云动态界面的时候发现有个问题?为什么通过webdriver获取到的page_source 里面都是js,不应该是已经渲染好的页面吗?说好的所见即所得呢?
问题出在哪呢?问题出在页面可能包含多个js文件,这些js文件生成了html代码,而且在生成过程中使用了下图所示的iframe这个东西,导致你的page_source都是js,那怎么把page_source里面的js转换成html呢?

继续阅读