- 浏览: 1255757 次
- 性别:
- 来自: 常州
文章分类
- 全部博客 (499)
- java (101)
- linux (82)
- mysql (30)
- javascript (45)
- Oracle (12)
- ext (14)
- 虚拟机 (1)
- 搜索引擎 (2)
- struts2 (11)
- 设计模式 (9)
- nginx (17)
- tomcat (12)
- 随想 (10)
- spring (18)
- svn (1)
- flash (3)
- UML (1)
- 数据结构 (7)
- 算法 (2)
- 网摘 (9)
- 数据库 (15)
- ibatis (3)
- jquery (31)
- lucene (1)
- hibernate (14)
- Myeclipse (4)
- 线程 (7)
- jbpm (4)
- 重构 (1)
- mantis (3)
- MediaWiki (4)
- ExtMail (1)
- MDaemon (1)
- egit (1)
- dwr (7)
- sitemesh (2)
- mybatis (1)
- ico (1)
- hadoop (5)
- jsoup (1)
- urlrewrite (2)
- jstl (1)
- spring3 (2)
- aop (2)
- 定时器 (1)
- Quartz (2)
- apache (1)
- php (1)
- security (1)
- iptables (2)
- QQ (1)
- mysqldump (1)
- vim (1)
- memcached (4)
- jad (1)
- 微博 (1)
- html5 (1)
- css3 (1)
- httpclient (10)
- google (1)
- shortUrl (1)
- json (2)
- virtualBox (1)
- mantisBT (2)
- htmlunit (1)
- selenium (2)
- mail (1)
- 正则表达式 (4)
- html (3)
- css (2)
- jatoolsPrinter (1)
- 图片处理 (1)
- hql (1)
- webservice (1)
- 分词 (3)
- 短信 (1)
- VPS (1)
- 事务 (1)
- 广告 (1)
- 画廊 (1)
- git (3)
- github (1)
- openshift (1)
- 缓存 (1)
- web (3)
- android (3)
- c3p0 (1)
- 邮箱 (1)
- memcache (2)
- windows (2)
- js (14)
- 编辑器 (1)
- 打印 (1)
- centos (5)
- boneCP (1)
- 连接池 (1)
- sql (1)
- nosql (1)
- MongoDB (1)
- 浏览器 (1)
- node (1)
- node.js (1)
- backbone.js (1)
- lazyload (1)
- Switch Off (1)
- Titanium (1)
- 网站架构 (1)
- WebDriver (1)
- APJP (1)
- 代理 (1)
- comet (1)
- kendoui (1)
- UI (2)
- 互联网 (1)
- localStorage (1)
- 记录 (1)
- 微信 (2)
- Sphinx (1)
- netty (1)
- js,mvvm,Avalon (1)
- 安卓 (1)
- Tengine (1)
- 大数据 (1)
- 手机 (1)
- paypal (1)
- SaaS (1)
- gitlab (1)
- nodejs (1)
- React (1)
- shadowsocks (0)
- vpn (0)
- 验证码 (1)
- SSL (2)
- SEO (1)
- IntelliJ (1)
- 敏捷开发 (1)
- 项目管理 (1)
- 爬虫 (1)
- 正则 (1)
- owncloud (1)
- 云存储 (1)
- ajax (1)
- pjax (1)
- jdk (1)
- zookeeper (1)
- phantomjs (1)
- ELK (1)
- springcloud (1)
- IDEA (1)
- hexo (1)
- ss (1)
- letencrypt (1)
最新评论
-
peakandyuri:
这个是有BUG的,数字小体现不出来,数字大了就不对了,但是Ja ...
java十进制转换N进制并反转换的工具类 -
ginolai:
然后是相关配置:/etc/sysconfig/iptables ...
Linux中iptables设置详细 -
bzhao:
我测试没啥区别啊!
Thread.sleep()和Thread.currentThread().sleep()区别 -
zhl549342097:
match == false
Spring Security 3.1 中功能强大的加密工具 PasswordEncoder -
hellotieye:
renzhengzhi 写道drager 写道用jsoup后解 ...
jsoup select 选择器
发现一个很不错的模拟浏览器包htmlunit,它可以直接执行访问网站地址,并执行相应的JavaScript脚本;这个功能对于网站爬虫有很大的帮助,一些网站使用了ajax,如果使用简单的http访问只能抓到原始的html源码,但对于页面内执行的ajax却无法获取;使用这个包后,可以将执行ajax后的html源码一并抓取下来。
网站地址:http://htmlunit.sourceforge.net/
网站地址:http://htmlunit.sourceforge.net/
该站点下边还提到了几个相类似的包:HtmlUnit is used as the underlying "browser" by different Open Source tools like Canoo WebTest, JWebUnit, WebDriver, JSFUnit, Celerity, ...
canoo WebTest 看了一下,没太明白是怎么用的,没想太深入了解
jwebunit 是用来做网站测试用的,它整合了JUnit,htmlunit,selenium 包框架;其主要功能是用做白盒测试和压力测试。
webDriver 后来改名为selenium,它整合了htmlunit,火狐浏览器,IE浏览器,opare浏览器驱动。如果使用htmlunitDriver,则是使用htmlunit包来访问站点;如果使用FirefoxDriver则会直接将Firefox浏览器调出来,然后在浏览器上模拟输入文字和其他鼠标键盘事件。
htmlunit包访问网站后,获取到html源码后可以对源码进行修改;而jwebunit,selenium则暂时没有发现修改的功能,只是用来做模拟用户操作的功能。
具体应用实例:http://blog.csdn.net/strawbingo/article/details/5768421
http://hi.baidu.com/%D0%C7%D2%B9%BB%D8%D4%B5/blog/item/27ccf9963443c2177af48042.html
发表评论
-
模拟浏览器js,有接口可用于爬虫
2018-01-30 18:14 1524http://phantomjs.org/ -
抓取Js动态生成数据且以滚动页面方式分页的网页
2015-11-08 23:21 1618当我们在进行数据抓取的时候,如果目标网站是以Js的方式动态 ... -
HttpClient优化相关
2014-09-17 15:21 10405首先,HttpClient可以共用,减少创建HttpClie ... -
httpclient工具类【转】
2013-11-16 11:46 2074package com.xyj.com.tool.util; ... -
HttpClient如何 关闭连接(转)
2013-10-10 10:19 1445Java代码 HttpClient clien ... -
Httpclient Cookies 处理
2013-10-08 15:56 3115HttpClient Cookies 简介 Htt ... -
httpclient代理[转]
2012-12-29 11:17 1013httpclient4.x配置带用户名和密码的代理 h ... -
httpclient自动获取页面编码设置进行字符编码,使httpclient适用所有网页抓取不乱码
2012-09-20 20:33 10494//生成HttpMethod的方法就不举例了,网上很多, ... -
httpclient发送Json格式数据举例之google短网址
2012-03-30 14:06 4865public String getGooGlShort ...
相关推荐
htmlunit java版无界面浏览器 实现网页自动登录利器 官方最新下载 htmlunit 是一款开源的java 页面分析工具,...项目可以模拟浏览器运行,被誉为java浏览器的开源实现。这个没有界面的浏览器,运行速度也是非常迅速的。
htmlunit 模拟cookie 存取 cookie值登录 如: wsyyuser.xywy.com Cookie c = new Cookie("wsyyuser.xywy.com", "PHPSESSID", Common.getValue("session_id") );
整体包括了selenium常用的浏览器driver,有谷歌、火狐、opera、EDGE还有htmlunit,各个系统和版本都有
jsoup、htmlunit 、seleniumWebdriver的jar包
selenium-htmlunit-driver-2.9.0jar包 selenium-htmlunit-driver-2.9.0jar包 selenium-htmlunit-driver-2.9.0jar包 selenium-htmlunit-driver-2.9.0jar包
htmlUnit所需工具包,htmlUnit,htmlUnit,htmlUnit,htmlUnit,htmlUnit
htmlunit用到的jar包htmlunit用到的jar包htmlunit用到的jar包
selenium htmlunit-2.15
项目可以模拟浏览器运行,被誉为java浏览器的开源实现。这个没有界面的浏览器,运行速度也是非常迅速的。 jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过...
在禁用JS的情况下进行测试的关键是将浏览器名称htmlunit与Seleniumwebdriver一起使用。 该示例使用了测试框架,但应与支持提供浏览器名称的任何测试框架一起使用。 在Chrome浏览器中使用Selenium服务器,但在Fire...
htmlunit爬虫工具,Java所需的依赖jar包,凑够50个字符
包含commons,cssparser,htmlunit,jetty,nekohtml,sac,xml等jar包
HtmlUnit是一个强大的无界面Java浏览器,是junit的扩展之一,它提供了丰富的API,在读取页面后,您可以有效的使用htmlunit分析页面上的内容,并调用页面、填写表单、点击链接,就像您在“正常”浏览器中所作的一样。...
主要使用的是selenium框架调用浏览器实现的签到功能,非常经典的一个功能! 里面的lib包,被我删除了,因为太大不让传,没办法! lib:自己去百度搜架包进行下载吧 apache-mime4j-0.6.jar bsh-1.3.0.jar cglib-nodep...
htmlunit-2.41.0 官方包 java第三方包
htmlunit所需要的所有的jar,亲测可用,包含htmlunit,htmlunit-core-js等等
16个jar包文件非Maven!亲测可用!不存在jar冲突等问题的。
htmlunit爬虫,基于Javahtmlunit爬虫,模拟浏览器HTTP请求实现对网页信息的抓取,本人经常用的框架,可以爬网上一些数据,进行分析。
htmlunint 所有依赖的jar。解压导入可直接可用!demo可以看我的博客。