如题,下载知乎制定问题回答者的头像
用jsoup实现解析
package info.frady;
import java.io.File;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URL;
import java.net.URLConnection;
import java.util.HashMap;
import java.util.Map;
import java.util.Map.Entry;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
/**
* 下载zhihu问题回答者的头像
* @author frady
*
*/
public class ZhihuDown {
public static void main(String[] args) throws Exception {
Map<String,String> imgMap=new HashMap<String,String>();
String url="http://www.zhihu.com/question/36412655";//要抓取的问题
Document documnet=Jsoup.connect(url).timeout(100 * 1000).get();
Elements es1 = documnet.select("div.zu-main-content");
for (Element e1 : es1) {
Elements es2 = e1.select("h3.zm-item-answer-author-wrap");
for (Element e2 : es2) {
Elements es3 = e2.select("img.zm-list-avatar");//找到头像的部分了
for (Element e3 : es3) {
String imgUrl=e3.attr("src");
imgUrl=imgUrl.substring(imgUrl.lastIndexOf("/")).substring(1);
imgMap.put(imgUrl, imgUrl);//将头像地址存放到map中,可以防止默认头像被下载多次
}
}
}
for (Entry e : imgMap.entrySet()) {
System.out.println("download..."+e.getKey().toString());
download("http://pic1.zhimg.com/"+e.getKey().toString(), e.getKey().toString(),"d:\\image\\");
}
}
public static void download(String urlString, String filename,String savePath) throws Exception {
// 构造URL
URL url = new URL(urlString);
// 打开连接
URLConnection con = url.openConnection();
//设置请求超时为5s
con.setConnectTimeout(5*1000);
// 输入流
InputStream is = con.getInputStream();
// 1K的数据缓冲
byte[] bs = new byte[1024];
// 读取到的数据长度
int len;
// 输出的文件流
File sf=new File(savePath);
if(!sf.exists()){
sf.mkdirs();
}
OutputStream os = new FileOutputStream(sf.getPath()+"\\"+filename);
// 开始读取
while ((len = is.read(bs)) != -1) {
os.write(bs, 0, len);
}
// 完毕,关闭所有链接
os.close();
is.close();
}
}
jsoup下载地址:http://jsoup.org/download
分享到:
相关推荐
知乎头像下载某乎头像新鲜的
批量下载知乎某个问题下指定数量答案的图片,代码较为简陋
python对知乎上的问题回答的爬取(可用)
Python应用实战-Python爬取、采集&可视化知乎问题的回答
知乎爬虫:爬取知乎某一问题下的所有回答(回答数小于800左右) 基本思路 将question id 进行遍历,存入文件,对问题进行过滤后爬取需要的回答 目前项目爬取的机制是将滚动条拉取到页面底端,然后一次性抓取所有的...
从零开始做运营:知乎互联网领域回答者、积分忠诚度计划、网.pptx
### 知乎回答多线程爬虫 **模式** 1. 单问题爬取模式 2. 相似问题爬取模式 **输出** **文件名** 问题题目 **文件内容** 1. 问题 2. 问题id 3. 回答者昵称 4. 回答者空间id 5. 回答者id 6. 回答者内容 ...
zhihu-answers简介fork 自 的 的winter的这次commit版本只允许下载备份自己的答案,我这个版本在它的基础上进行了简单的修改,支持下载其他用户的答案用法打开Chrome -> 进入知乎个人主页 -> 审查元素 -> Console ->...
萧井陌知乎回答备份,很有用
知乎助手是一款可以将知乎上内容转换为Epub电子书格式的工具。它的开发思维出发点主要是为了帮助知乎用户,提供更加方便的阅读方式及文章收藏保存,即便是知乎上的文章删除了,大家收藏的内容依旧存在。软件由作者@...
### 知乎回答多线程爬虫 **模式** 1. 单问题爬取模式 2. 相似问题爬取模式 **输出** **文件名** 问题题目 **文件内容** 1. 问题 2. 问题id 3. 回答者昵称 4. 回答者空间id 5. 回答者id 6. 回答者内容 ...
知乎图片爬取,复制问题链接粘贴到工具内,可以将该问题下的回答包含的图片下载并生成一个以问题为标题的文件夹
知乎2021Q3财报.pdf 知乎2021Q3财报.pdf 知乎2021Q3财报.pdf 知乎2021Q3财报.pdf 知乎2021Q3财报.pdf 知乎2021Q3财报.pdf 知乎2021Q3财报.pdf 知乎2021Q3财报.pdf 知乎2021Q3财报.pdf 知乎2021Q3财报.pdf 知乎2021Q3...
这个就是一个根据知乎问题编号爬取问题答案的爬虫。
旧版知乎app
zhihu.exe 爬虫打包好的程序,可以爬取问题链接下的图片 不含源码,可自行摸索
知乎爬虫(知乎网站爬取工具,爬取知乎网页内容)。 大家下载试试吧。挺好用的,嘿嘿。
问答知乎模版仿问答系统,安装即可在服务器运行php初学资源。
软件功能强大,可以实现更好更快的发布问题,免去一个个问题及图片的烦恼,让用户的求知欲最大效能地爆发出来 知乎是一个真实的网络问答社区,社区氛围友好、理性、认真,连接各行各业的精英。他们分享着彼此的专业...
1)作者的谷歌版本使用的是88版本,最新版没有尝试 2)采用的是先打开一个谷歌浏览器,然后在代码里链接这个浏览器的方式进行解决问题的