技术标签: java对https抓包 http/https代理服务器开发 手写一个http代理服务器 java入门学习 https握手过程 java https代理服务器
最近在调试一个项目时常常需要对接口进行抓包查看,接口位于微信的公众号内,目前每次调试时都是用的 fiddler进行抓包查看的。但每次打开fiddler去查看对应的接口并找到对应的参数感觉还是有点复杂,正好今天是周末,打算自己来研究下它的原理并自己通过java来写一个(之所以知道java可以实现这个功能是因为著名的web安全检测工具 burpsuite 就是用java写的)
在使用fiddler或burpsuite时其抓包的原理都是通过代理服务器来实现的。fiddler或burpsuite通过自己创建一个代理服务器对需要拦截的socket请求进行一次中转,其过程有点像中间人的方式,从而可以实现对请求和响应的拦截和修改。
知道了原理后,那么通过JAVA编写一个用于转发socket的程序就可以实现请求的拦截了.
为了开发的方便与高效,这里采用netty框架来显示代理服务器的开发
本文需要的依赖包为:
<!-- https://mvnrepository.com/artifact/io.netty/netty-all --> <dependency> <groupId>io.netty</groupId> <artifactId>netty-all</artifactId> <version>4.1.42.Final</version> </dependency>
微信公众号内的接口目前全都是https的,直接开发https代理程序有一定难度,所以笔者决定在实现https的接口抓包之前还是先来搞定http的抓包拦截功能
在开发之前先梳理下思图:这里以谷歌浏览器访问百度网站为例,先画下其访问流程图
对于http请求无代理的情况其过程很简单,客户端向服务器发起请求,服务端响应此请求即可
由于http请求太过简单,其所有的数据传输也都是明文传输了。其最大的安全性是很容易受到中间人攻击(MITM)。与MITM类比,那么此处的http代理服务器也就是中间人了。作为中间人服务器,它对于客户端的请求可以进行拦截、查看、过滤、转发、篡改等,由代理服务器处理完毕后再决定是否转发给目标服务器。同时对于目标服务器的响应也由中间的代理服务器先进行处理一遍,再决定怎样传回给客户端。
如果用netty来实现http的代理服务器其主要代码如下:
public class HttpProxyHandler extends ChannelInboundHandlerAdapter implements IProxyHandler {
private Logger logger = LoggerFactory.getLogger(HttpProxyHandler.class);
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
logger.debug("[HttpProxyHandler]");
if (msg instanceof HttpRequest) {
HttpRequest httpRequest = (HttpRequest) msg;
//获取客户端请求
ClientRequest clientRequest = ProxyRequestUtil.getClientRequest(ctx.channel());
if (clientRequest == null) {
//从本次请求中获取
Attribute<ClientRequest> clientRequestAttribute = ctx.channel().attr(CLIENTREQUEST_ATTRIBUTE_KEY);
clientRequest = ProxyRequestUtil.getClientReuqest(httpRequest);
//将clientRequest保存到channel中
clientRequestAttribute.setIfAbsent(clientRequest);
}
//如果是connect代理请求,返回成功以代表代理成功
if (sendSuccessResponseIfConnectMethod(ctx, httpRequest.method().name())) {
logger.debug("[HttpProxyHandler][channelRead] sendSuccessResponseConnect");
ctx.channel().pipeline().remove("httpRequestDecoder");
ctx.channel().pipeline().remove("httpResponseEncoder");
ctx.channel().pipeline().remove("httpAggregator");
ReferenceCountUtil.release(msg);
return;
}
if (clientRequest.isHttps()) {
//https请求不在此处转发
super.channelRead(ctx, msg);
return;
}
sendToServer(clientRequest, ctx, msg);
return;
}
super.channelRead(ctx, msg);
}
/**
* 如果是connect请求的话,返回连接建立成功
*
* @param ctx ChannelHandlerContext
* @param methodName 请求类型名
* @return 是否为connect请求
*/
private boolean sendSuccessResponseIfConnectMethod(ChannelHandlerContext ctx, String methodName) {
if (Constans.CONNECT_METHOD_NAME.equalsIgnoreCase(methodName)) {
//代理建立成功
//HTTP代理建立连接
HttpResponse response = new DefaultFullHttpResponse(HttpVersion.HTTP_1_1, Constans.CONNECT_SUCCESS);
ctx.writeAndFlush(response);
return true;
}
return false;
}
@Override
public void sendToServer(ClientRequest clientRequest, ChannelHandlerContext ctx, Object msg) {
Bootstrap bootstrap = new Bootstrap();
bootstrap.group(ctx.channel().eventLoop())
// 注册线程池
.channel(ctx.channel().getClass())
// 使用NioSocketChannel来作为连接用的channel类
.handler(new ChannelInitializer<Channel>() {
@Override
protected void initChannel(Channel ch) throws Exception {
//添加接收远程server的handler
ch.pipeline().addLast(new HttpRequestEncoder());
ch.pipeline().addLast(new HttpResponseDecoder());
ch.pipeline().addLast(new HttpObjectAggregator(6553600));
//代理handler,负责给客户端响应结果
ch.pipeline().addLast(new HttpProxyResponseHandler(ctx.channel()));
}
});
//连接远程server
ChannelFuture cf = bootstrap.connect(clientRequest.getHost(), clientRequest.getPort());
cf.addListener(new ChannelFutureListener() {
@Override
public void operationComplete(ChannelFuture future) throws Exception {
if (future.isSuccess()) {
//连接成功
future.channel().writeAndFlush(msg);
logger.debug("[operationComplete] connect remote server success!");
} else {
//连接失败
logger.error("[operationComplete] 连接远程server失败了");
ctx.channel().close();
}
}
});
}
@Override
public void sendToClient(ClientRequest clientRequest, ChannelHandlerContext ctx, Object msg) {
}
}
上面的代码为转发部分的处理代码,其具体完整实现可以查看文末的github地址
对于http请求响应的处理代码为:
public class HttpProxyResponseHandler extends ChannelInboundHandlerAdapter {
private Logger logger = LoggerFactory.getLogger(HttpProxyResponseHandler.class);
private Channel clientChannel;
public HttpProxyResponseHandler(Channel clientChannel) {
this.clientChannel = clientChannel;
}
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
if (msg instanceof FullHttpResponse) {
FullHttpResponse response = (FullHttpResponse) msg;
logger.debug("[channelRead][FullHttpResponse] 接收到远程的数据1 content:{}", response.content().toString(Charset.defaultCharset()));
} else if (msg instanceof DefaultHttpResponse) {
DefaultHttpResponse response = (DefaultHttpResponse) msg;
logger.debug("[channelRead][FullHttpResponse] 接收到远程的数据 content:{}", response.toString());
} else if (msg instanceof DefaultHttpContent) {
DefaultHttpContent httpContent = (DefaultHttpContent) msg;
logger.debug("[channelRead][DefaultHttpContent] 接收到远程的数据 content:{}", httpContent.content().toString(Charset.defaultCharset()));
} else {
logger.debug("[channelRead] 接收到远程的数据 " + msg.toString());
}
//发送给客户端
clientChannel.writeAndFlush(msg);
}
}
https的请求相对于http的请求流程稍微复杂一点,目前的浏览器主要采用tls1.2版本和tls1.3版本,在开发https的代理之前,先看一下https采用tls1.2的握手过程是怎么样的
其过程可以通过wireshark抓包进行分析
通过tls and ip.addr=[目录ip]对https通信过程中的数据进行过滤
以下为我分析的https中使用的tls1.2版本客户端与服务端的握手过程简要分析,其中参数了一些大牛的文章
这其中的知识点比较多,如感兴趣可以仔细看下上面我在梳理过程中所画的时序图,如想深入研究可以进入上方的链接进行深入学习。
我的理解后,其主要就是这样的:CA保证了通信双方的身份的真实性,基于公私钥交换确保了通信过程中的安全性
回到本文主题,那么想要对https请求进行代理应该如何实现呢?
在了解了https的通信过程后,那么我们有两种办法可以对https的请求进行代理:
通过分析后我们可以知道,想要获取到ca根证书的私钥是不太可能的,据说ca根证书都是离线存储的,一般人拿不到的(一个https证书一年收费上千块不是开玩笑的),ca的代理机构的证书也是这个道理。
那么通过上面的再次分析后通过方案1来进行请求代理的可行性还高一些,其代理过程可以简单如下图:
在分析过后并自己画一个流程图后对于https的代理实现流程清晰多了,其实目前市面上的许多支持https的代理软件都是采用的这种方式来实现的,无论是常见的抓包利器fidder还是大名鼎鼎的安全测试工具BurpSuite都是基于此种方式来做的实现
在有了上面的分析后,其实想要自己去实现一个https的代理服务器还是有一定难度的,https握手的细节实现就足以让人费事费力了。但在同样大名鼎鼎的netty框架面前这些都是小事儿!netty中的SslContext类帮我们完成了这些细节的实现,我们只管如何调用它遍可完成对https的握手了,框架就是框架,强大哇!
由于时间关系,对于其实现的具体代码这里不做详细分析了,我已把代码提交到github上了.
其具体的实现可以参考源码:https://github.com/puhaiyang/easyHttpProxy
为了使用的方便,我也将此项目上传到了maven公网,其maven为:
<dependency>
<groupId>com.github.puhaiyang</groupId>
<artifactId>easy-http-proxy</artifactId>
<version>0.0.1</version>
</dependency>
使用时添加依赖包后,调用
EasyHttpProxyServer.getInstace().start(6667);
即可,其中6667为代理服务器监听的端口号,目前已支持了http/https并针对其他请求直接进行转发.
如果不想自己生成证书,记得将jar包中的ca.crt、ca.key、ca_private.der拷贝的项目的运行根目录下,即classes path下,要不然https代理时会找不到ca根证书会出错。
同时,记得将ca.crt导入到根证书
具体步骤可见此截图:
欢迎留言评论,共同学习共同进步!
文章浏览阅读63次。题目给定一个整数 n,返回 n! 结果尾数中零的数量。解题思路每个0都是由2 * 5得来的,相当于要求n!分解成质因子后2 * 5的数目,由于n中2的数目肯定是要大于5的数目,所以我们只需要求出n!中5的数目。C++代码class Solution {public: int trailingZeroes(int n) { ...
文章浏览阅读992次,点赞27次,收藏15次。UTF-8是Unicode字符集的一种编码方案,采取可变长编码方案,共分四个长度区:1个字节,2个字节,3个字节,4个字节。文件字节输入流:每次读取多个字节到字节数组中去,返回读取的字节数量,读取完毕会返回-1。注意1:字符编码时使用的字符集,和解码时使用的字符集必须一致,否则会出现乱码。定义一个与文件一样大的字节数组,一次性读取完文件的全部字节。UTF-8字符集:汉字占3个字节,英文、数字占1个字节。GBK字符集:汉字占2个字节,英文、数字占1个字节。GBK规定:汉字的第一个字节的第一位必须是1。_outputstream释放
文章浏览阅读1.8k次,点赞3次,收藏3次。解决jeecgboot每次登录进去都会弹出请重新登录问题,在utils文件下找到request.js文件注释这段代码即可_jeecg 登录自动退出
文章浏览阅读3.4k次。我国目前普遍采用需要系数法和二项式系数法确定用电设备的负荷,其中需要系数法是国际上普遍采用的确定计算负荷的方法,最为简便;而二项式系数法在确定设备台数较少且各台设备容量差..._数据中心用电负荷统计变压器
文章浏览阅读7k次,点赞4次,收藏46次。HTML5期末大作业:网页制作代码 网站设计——人电影网站(5页) HTML+CSS+JavaScript 学生DW网页设计作业成品 dreamweaver作业静态HTML网页设计模板常见网页设计作业题材有 个人、 美食、 公司、 学校、 旅游、 电商、 宠物、 电器、 茶叶、 家居、 酒店、 舞蹈、 动漫、 明星、 服装、 体育、 化妆品、 物流、 环保、 书籍、 婚纱、 军事、 游戏、 节日、 戒烟、 电影、 摄影、 文化、 家乡、 鲜花、 礼品、 汽车、 其他 等网页设计题目, A+水平作业_网页设计成品百度网盘
文章浏览阅读392次。jailhouse 文章翻译,Look Mum, no VM Exits!_jailhouse sr-iov
文章浏览阅读751次。本文由chatgpt生成,文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型,只是展现它原本的实力。对于颠覆工作方式的ChatGPT,应该选择拥抱而不是抗拒,未来属于“会用”AI的人。AI职场汇报智能办公文案写作效率提升教程 专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。_python 删除文件特定几行
文章浏览阅读2.1k次。【代码】Java过滤特殊字符的正则表达式。_java正则表达式过滤特殊字符
文章浏览阅读5.7k次,点赞4次,收藏17次。css中背景的设置至关重要,也是一个难点,因为属性众多,对应的属性值也比较多,这里详细的列举了背景相关的7个属性及对应的属性值,并附上演示代码,后期要用的话,可以随时查看,那我们坐稳开车了······1: background-color 设置背景颜色2:background-image来设置背景图片- 语法:background-image:url(相对路径);-可以同时为一个元素指定背景颜色和背景图片,这样背景颜色将会作为背景图片的底色,一般情况下设置背景..._background设置背景图片
文章浏览阅读2.6k次,点赞2次,收藏8次。Win10 安装系统跳过创建用户,直接启用 Administrator_windows10msoobe进程
文章浏览阅读10w+次,点赞653次,收藏3k次。Windows安装pycharm教程新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入下载安装PyCharm1、进入官网PyCharm的下载地址:http://www.jetbrains.com/pycharm/downl_pycharm2021
文章浏览阅读835次。本节书摘来自异步社区出版社《跨境电商——速卖通搜索排名规则解析与SEO技术》一书中的第1章,第1.1节,作者: 冯晓宁,更多章节内容可以访问云栖社区“异步社区”公众号查看。1.1 初识速卖通的搜索引擎1.1.1 初识速卖通搜索作为速卖通卖家都应该知道,速卖通经常被视为“国际版的淘宝”。那么请想一下,普通消费者在淘宝网上购买商品的时候,他的行为应该..._跨境电商 速卖通搜索排名规则解析与seo技术 pdf