各位大佬有没有什么傻瓜式拿着源码就能搭建的爬虫程序...

议长

各位大佬有没有什么傻瓜式拿着源码就能搭建的爬虫程序...
我想整个代理池爬那些网上免费ip
不知道用什么程序好
各位大佬有什么推荐的吗？




看到贴下大佬的评论
这个我不会用，有mjj大佬出过教程吗？
https://github.com/imWildCat/scylla

loveqianool

https://github.com/imWildCat/scylla
https://github.com/jhao104/proxy_pool
https://github.com/nicksherron/proxi

议长

loveqianool 发表于 2021-6-11 16:14
dabian 吗

CentOS 7.6

loveqianool

议长 发表于 2021-6-11 16:13
啊，我小白看不大明白，我只会那种一行一行命令执行完成就能用的

dabian 吗

议长

loveqianool 发表于 2021-6-11 16:10
https://scylla.wildcat.io/zh/latest/
人家官方文档写的不够好吗

啊，我小白看不大明白，我只会那种一行一行命令执行完成就能用的

loveqianool

议长 发表于 2021-6-11 12:26
大佬这个我不会用有具体教程吗：？https://github.com/imWildCat/scylla

https://scylla.wildcat.io/zh/latest/
人家官方文档写的不够好吗

laosj

好东西，谢谢分享

干货插眼小助手

议长 发表于 2021-6-11 14:14
有没有傻瓜式的方法。。。
比如用php实现类似于api提取一样

自己的PHP小项目也在用，仅供参考：

1. function getProxy($country) {
   
2.         $raw = file_get_content('https://github.com/fate0/proxylist/raw/master/proxy.list');
   
3.         $nodes = explode(PHP_EOL, $raw);
   
4.         foreach ($nodes as $node) {
   
5.             $node = json_decode($node);
   
6.             // 筛选指定国家(可选)
   
7.             if($node->country == $country)
   
8.                 $proxy .= PHP_EOL . $node->host . ':' . $node->port;
   
9.         }
   
10.         return $proxy;
    
11.     }

复制代码

议长

Sid 发表于 2021-6-11 14:55
咋天才找论子里嗷嗷给我写了一套脚本 现在自己扫.日活1w左右

分享他一撒大佬

Sid

咋天才找论子里嗷嗷给我写了一套脚本 现在自己扫.日活1w左右

呼啦啦

这种简单的文本处理方法有无数种，就看大佬有没有时间了，或许发点红包