技术标签: java 爬虫 抓取关键字
packagecom.zhaowu.renwu2;importjava.io.BufferedReader;importjava.io.IOException;importjava.io.InputStream;importjava.io.InputStreamReader;importjava.net.MalformedURLException;importjava.net.URL;importorg.jsoup.Jsoup;importorg.jsoup.nodes.Document;importorg.jsoup.nodes.Element;importorg.jsoup.select.Elements;importcom.gargoylesoftware.htmlunit.BrowserVersion;importcom.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;importcom.gargoylesoftware.htmlunit.WebClient;importcom.gargoylesoftware.htmlunit.html.HtmlInput;importcom.gargoylesoftware.htmlunit.html.HtmlPage;public classRenWu {//搜索页数
private static int N = 6;//搜索关键词
private static String keyWord = "爬虫";//第一页搜索结果
private staticHtmlPage firstBaiduPage;//Baidu对应每个搜索结果的第一页第二页第三页等等其中包含“&pn=1”,“&pn=2”,“&pn=3”等等,//提取该链接并处理可以获取到一个模板,用于定位某页搜索结果
private static String template = "";public static voidmain(String[] args) {
goSearch(N, keyWord);
}private static void goSearch(final int n, finalString keyWord) {
Thread thread= new Thread(newRunnable() {public voidrun() {//页数
int x =n;
System.out.println("爬取百度关于关键字“" + keyWord + "”搜索结果的前" + x + "页");
FileUtil.toFile("爬取百度关于关键字“" + keyWord + "”搜索结果的前" + x + "页\n");//1.获取并输出第一页百度查询内容
Elements firstElementsLink = null;try{
firstElementsLink=getFirstPage(keyWord);
}catch(Exception e) {
e.printStackTrace();
}for(Element link : firstElementsLink) {//链接url
String linkHref = link.attr("href");//链接标题
String linkText =link.text();if(linkHref.length() > 13 & linkText.length() > 4) {
String content= "链接url: " + linkHref + "\n\t链接标题: " + linkText + "\n";
System.out.println(content);
FileUtil.toFile(content);
}
}//2.读取第二页及之后页面预处理//以firstBaiduPage作为参数,定义template,即网页格式。
nextHref(firstBaiduPage);//3.获取百度第一页之后的搜索结果
for(int i = 1; i< x; i++) {
System.out.println("\n---------百度搜索关键字“" + keyWord + "”第" + (i + 1) + "页结果------");
FileUtil.toFile("\n---------百度搜索关键字“" + keyWord + "”第" + (i + 1) + "页结果------" + "\n");//根据已知格式修改生成新的一页的链接
String tempURL = template.replaceAll("&pn=1", "&pn=" + i + "");//显示该搜索模板
System.out.println("\t该页地址为:" +tempURL);
RenWu renWu= newRenWu();//实现摘取网页源码
String htmls = renWu.getPageSource(tempURL, "utf-8");//网页信息转换为jsoup可识别的doc模式
Document doc =Jsoup.parse(htmls);//摘取该页搜索链接
Elements links = doc.select("a[data-click]");//该处同上getFirstPage的相关实现
for(Element link : links) {//链接url
String linkHref = link.attr("href");//链接标题
String linkText =link.text();if(linkHref.length() > 13 & linkText.length() > 4) {
String content= "链接url: " + linkHref + "\n\t链接标题: " + linkText + "\n";
System.out.println(content);
FileUtil.toFile(content);
}
}
}
}
});
thread.start();
}publicString getPageSource(String pageURL, String encoding) {//输入:url链接&编码格式//输出:该网页内容
StringBuffer sb = newStringBuffer();try{//构建一URL对象
URL url = newURL(pageURL);//使用openStream得到一输入流并由此构造一个BufferedReader对象
InputStream in =url.openStream();
InputStreamReader ir= newInputStreamReader(in);
BufferedReader br= newBufferedReader(ir);
String line;while((line = br.readLine()) != null) {
sb.append(line);
sb.append("\n");
}
br.close();
}catch(Exception e) {
e.printStackTrace();
}returnsb.toString();
}/** 获取百度搜索第一页内容*/
public static Elements getFirstPage(String keyWord) throwsFailingHttpStatusCodeException, MalformedURLException, IOException {//设置浏览器的User-Agent
WebClient webClient = newWebClient(BrowserVersion.FIREFOX_52);//HtmlUnit对JavaScript的支持不好,关闭之
webClient.getOptions().setJavaScriptEnabled(false);//HtmlUnit对CSS的支持不好,关闭之
webClient.getOptions().setCssEnabled(false);//百度搜索首页页面
HtmlPage htmlPage = webClient.getPage("http://www.baidu.com/");//获取搜索输入框并提交搜索内容(查看源码获取元素名称)
HtmlInput input = htmlPage.getHtmlElementById("kw");//将搜索词模拟填进百度输入框(元素ID如上)
input.setValueAttribute(keyWord);//获取搜索按钮并点击
HtmlInput btn = htmlPage.getHtmlElementById("su");//模拟搜索按钮事件,获取第一页的html内容
firstBaiduPage =btn.click();//将获取到的百度搜索的第一页信息输出//通过page.asXml()来获取百度首页的源代码,//通过page.asTest()来获取页面的文字
String content =firstBaiduPage.asXml().toString();//转换为Jsoup识别的doc格式
Document doc =Jsoup.parse(content);
System.out.println("---------百度搜索关键字“" + keyWord + "”第1页结果--------");
FileUtil.toFile("---------百度搜索关键字“" + keyWord + "”第1页结果--------" + "\n");//返回包含类似等的元素
Elements firstElementsLink = doc.select("a[data-click]");//返回此类链接,即第一页的百度搜素链接
returnfirstElementsLink;
}/** 获取下一页地址*/
public static voidnextHref(HtmlPage firstBaiduPage) {
WebClient webClient= newWebClient(BrowserVersion.FIREFOX_52);
webClient.getOptions().setJavaScriptEnabled(false);
webClient.getOptions().setCssEnabled(false);//获取到百度第一页搜索的底端的页码的html代码
String morelinks = firstBaiduPage.getElementById("page").asXml();//转换为Jsoup识别的doc格式
Document doc =Jsoup.parse(morelinks);//提取这个html中的包含的部分
Elements links = doc.select("a[href]");//设置只取一次每页链接的模板格式
boolean getTemplate = true;for(Element e : links) {//将提取出来的标签中的链接取出
String linkHref = e.attr("href");if(getTemplate) {//补全模板格式
template = "http://www.baidu.com" +linkHref;
getTemplate= false;
}
}
}
}
文章浏览阅读2.9k次,点赞8次,收藏14次。测试主要做什么?这完全都体现在测试流程中,同时测试流程是面试问题中出现频率最高的,这不仅是因为测试流程很重要,而是在面试过程中这短短的半小时到一个小时的时间,通过测试流程就可以判断出应聘者是否合适,故在测试流程中包含了测试工作的核心内容,例如需求分析,测试用例的设计,测试执行,缺陷等重要的过程。..._测试过程管理中包含哪些过程
文章浏览阅读870次,点赞16次,收藏19次。1.背景介绍政府数字化政务是指政府利用数字技术、互联网、大数据、人工智能等新技术手段,对政府政务进行数字化改革,提高政府工作效率,提升政府服务质量的过程。随着人工智能(AI)和机器学习(ML)技术的快速发展,政府数字化政务中的人工智能与机器学习应用也逐渐成为政府改革的重要内容。政府数字化政务的人工智能与机器学习应用涉及多个领域,包括政策决策、政府服务、公共安全、社会治理等。在这些领域,人工...
文章浏览阅读219次,点赞2次,收藏4次。系统主要的用户为用户、管理员,他们的具体权限如下:用户:用户登录后可以对管理员上传的学习视频进行学习。用户可以选择题型进行练习。用户选择小程序提供的考研科目进行相关训练。用户可以进行水平测试,并且查看相关成绩用户可以进行错题集的整理管理员:管理员登录后可管理个人基本信息管理员登录后可管理个人基本信息管理员可以上传、发布考研的相关例题及其分析,并对题型进行管理管理员可以进行查看、搜索考研题目及错题情况。_mysql刷题软件
文章浏览阅读1.4k次。myelipse里有UML1和UML2两种方式,UML2功能更强大,但是两者生成过程差别不大1.建立Test工程,如下图,uml包存放uml类图package com.zz.domain;public class User {private int id;private String name;public int getId() {return id;}public void setId(int..._根据以下java代码画出类图
文章浏览阅读174次。需求:一个topic包含很多个表信息,需要自动根据json字符串中的字段来写入到hive不同的表对应的路径中。发送到Kafka中的数据原本最外层原本没有pkDay和project,只有data和name。因为担心data里面会空值,所以根同事商量,让他们在最外层添加了project和pkDay字段。pkDay字段用于表的自动分区,proejct和name合起来用于自动拼接hive表的名称为 ..._flume拦截器自定义开发 kafka
文章浏览阅读380次。原标题:Java Spring中同时访问多种不同数据库 多样的工作要求,可以使用不同的工作方法,只要能获得结果,就不会徒劳。开发企业应用时我们常常遇到要同时访问多种不同数据库的问题,有时是必须把数据归档到某种数据仓库中,有时是要把数据变更推送到第三方数据库中。使用Spring框架时,使用单一数据库是非常容易的,但如果要同时访问多个数据库的话事件就变得复杂多了。本文以在Spring框架下开发一个Sp..._根据输入的不同连接不同的数据库
文章浏览阅读3.6k次,点赞9次,收藏25次。本案例描述了晶振屏蔽以及开关电源变压器屏蔽对系统稳定工作的影响, 硬件设计时应考虑。_eft电路图
文章浏览阅读1.1k次。对于物料价格的更改,可以采取不同的手段:首先,我们来介绍MR21的方式。 需要说明的是,如果要对某一产品进行价格修改,必须满足的前提条件是: ■ 1、必须对价格生效的物料期间与对应会计期间进行开启; ■ 2、该产品在该物料期间未发生物料移动。执行MR21,例如更改物料1180051689的价格为20000元,系统提示“对于物料1180051689 存在一个当前或未来标准价格”,这是因为已经对该..._mr21 对于物料 zba89121 存在一个当前或未来标准价格
文章浏览阅读7.4k次,点赞3次,收藏13次。[文章导读]联想启天M420是一款商用台式电脑,预装的是win10系统,用户还是喜欢win7系统,该台式机采用的intel 8代i5 8500CPU,在安装安装win7时有很多问题,在安装win7时要在BIOS中“关闭安全启动”和“开启兼容模式”,并且安装过程中usb不能使用,要采用联想win7新机型安装,且默认采用的uefi+gpt模式,要改成legacy+mbr引导,那么联想启天M420台式电..._启天m420刷bios
文章浏览阅读2.7k次,点赞2次,收藏9次。一,为什么要冗余数据互联网数据量很大的业务场景,往往数据库需要进行水平切分来降低单库数据量。水平切分会有一个patition key,通过patition key的查询能..._保证冗余性
文章浏览阅读88次。是时候闭环Java应用了 原创 2016-08-16 张开涛 你曾经因为部署/上线而痛苦吗?你曾经因为要去运维那改配置而烦恼吗?在我接触过的一些部署/上线方式中,曾碰到过以下一些问题:1、程序代码和依赖都是人工上传到服务器,不是通过工具进行部署和发布;2、目录结构没有规范,jar启动时通过-classpath任意指定;3、fat jar,把程序代码、配置文件和依赖jar都打包到一个jar中,改配置..._那么需要把上面的defaultjavatyperesolver类打包到插件中
文章浏览阅读909次。1.得下载一个番茄插件,按alt+g才可以有函数跳转功能。2.不安装番茄插件,按F12也可以有跳转功能。3.进公司的VS工程是D:\sync\build\win路径,.sln才是打开工程的方式,一个是VS2005打开的,一个是VS2013打开的。4.公司库里的线程接口,在CmThreadManager.h 里,这个里面是我们的线程库,可以直接拿来用。CreateUserTaskThre..._番茄助手颜色