为什么做这个工具

做爬虫的时候，经常遇到各种小问题。有时候一个curl命令要改半天才能转成Python代码，有时候JSON数据格式不对查半天，还有时候加密解密搞不清楚用哪个算法。这些零散的问题，如果每次都去网上搜，挺费时间的。

所以就把这些常用的工具整合到了一起，不用跳来跳去，在一个页面上就能搞定大部分事情。

这个工具能做什么

工具集目前有6个主要功能，都是爬虫开发中经常用到的：

• Curl转码：从浏览器复制curl命令，一键生成Python requests代码
• JSON美化：格式化、验证JSON数据，快速定位格式错误
• URL提取：解析URL参数，生成Python请求代码
• 在线加密：支持多种加密算法，方便测试加密逻辑
• 文本对比：对比接口返回、配置文件等差异
• IP查询：查询IP地理位置，分析访问来源

Curl转码怎么用

这是最常用的功能之一。比如你在浏览器里测试接口，看到Network里有个请求，直接右键Copy as cURL，粘贴到工具里，马上就能得到对应的Python代码。不用自己手写headers、cookies那些，省事不少。

特别是处理带认证、带签名的接口时，把curl转过来，基本就能跑通，省得自己去拼请求头。

JSON美化的实际作用

有时候接口返回的JSON被压缩成一行，看着特别费劲。贴到工具里，一下子就格式化清楚了。还有就是如果JSON格式有问题，比如少个逗号、引号不对，工具会直接告诉你哪错了，不用自己一行行去查。

另外有时候接口返回的数据结构比较复杂，格式化之后能看得更清楚，写解析代码的时候思路也清晰很多。

加密工具的用处

爬加密接口的时候，经常要逆向网站的加密逻辑。有时候需要验证自己的算法对不对，或者要生成一些测试数据。这时候这个加密工具就派上用场了，支持MD5、SHA、AES、RSA各种算法，还有Base64编码。

特别是AES这种需要选模式、选填充方式的，工具都帮你配好了，省得自己去查文档。

文本对比什么时候用

这个功能用起来其实比想象中多。比如对比两个接口返回的差异，或者对比修改前后的配置文件，再或者就是debug的时候看看数据到底哪里变了。实时对比还是挺方便的，改一下这边，那边马上就标出差异了。

IP查询工具

有时候需要根据IP做访问控制，或者分析用户地域分布，这个工具就很好用。输入IP或者域名，就能得到详细的地理位置、运营商信息。批量处理数据的时候，拿来验证一下IP归属也挺实用的。

未来想加什么

工具还在不断完善中。后面打算加一些正则表达式测试、时间戳转换之类的功能。如果有你觉得好用的工具，也可以提出来，说不定下一个版本就加上了。

这个工具是自己用着顺手，顺便分享出来。希望能帮到其他爬虫工程师，少踩点坑，多写点代码。