全球主机交流论坛

标题: 各位大佬有没有什么傻瓜式拿着源码就能搭建的爬虫程序... [打印本页]

作者: 议长 时间: 2021-6-11 11:57
标题: 各位大佬有没有什么傻瓜式拿着源码就能搭建的爬虫程序...
本帖最后由议长于 2021-6-11 12:27 编辑

各位大佬有没有什么傻瓜式拿着源码就能搭建的爬虫程序...
我想整个代理池爬那些网上免费ip
不知道用什么程序好
各位大佬有什么推荐的吗？

看到贴下大佬的评论
这个我不会用，有mjj大佬出过教程吗？
https://github.com/imWildCat/scylla

作者: loveqianool 时间: 2021-6-11 12:00
https://github.com/imWildCat/scylla
https://github.com/jhao104/proxy_pool
https://github.com/nicksherron/proxi

作者: buildLT 时间: 2021-6-11 12:02

loveqianool 发表于 2021-6-11 12:00
https://github.com/imWildCat/scylla
https://github.com/jhao104/proxy_pool
https://github.com/nickshe ...

好东西

作者: 议长 时间: 2021-6-11 12:02

loveqianool 发表于 2021-6-11 12:00
https://github.com/imWildCat/scylla
https://github.com/jhao104/proxy_pool
https://github.com/nickshe ...

有没有什么。。。小白一点的，就类似于那种搭建出来一个网站就能拿着用的。。。

作者: 议长 时间: 2021-6-11 12:26

loveqianool 发表于 2021-6-11 12:00
https://github.com/imWildCat/scylla
https://github.com/jhao104/proxy_pool
https://github.com/nickshe ...

大佬这个我不会用有具体教程吗：？https://github.com/imWildCat/scylla

作者: aeox 时间: 2021-6-11 12:36
代理池便宜的可以上快代理

作者: 议长 时间: 2021-6-11 12:51

aeox 发表于 2021-6-11 12:36
代理池便宜的可以上快代理

不想去买，我想自己爬。

作者: dxsafe 时间: 2021-6-11 14:00
蓝天

作者: Liu`e 时间: 2021-6-11 14:08
https://raw.githubusercontent.com/fate0/proxylist/master/proxy.list

作者: 议长 时间: 2021-6-11 14:11

Liu`e 发表于 2021-6-11 14:08
https://raw.githubusercontent.com/fate0/proxylist/master/proxy.list

大佬，这玩意怎么过滤成一行一行的ip出来呢？

作者: 议长 时间: 2021-6-11 14:12

dxsafe 发表于 2021-6-11 14:00
蓝天

蓝天是个啥？

作者: zxxx 时间: 2021-6-11 14:12

议长发表于 2021-6-11 14:11
大佬，这玩意怎么过滤成一行一行的ip出来呢？

{
"type": "http",
"response_time": 1.04,
"country": "US",
"export_address": ["35.172.135.29"],
"anonymity": "high_anonymous",
"port": 80,
"host": "35.172.135.29",
"from": "proxylist"
}
{
"type": "http",
"response_time": 1.03,
"country": "US",
"export_address": ["192.168.99.102", "54.226.33.176"],
"anonymity": "transparent",
"port": 80,
"host": "3.211.65.185",
"from": "proxylist"
}
{
"type": "http",
"response_time": 1.03,
"country": "US",
"export_address": ["104.154.182.187", "149.28.57.91"],
"anonymity": "anonymous",
"port": 3128,
"host": "149.28.57.91",
"from": "proxylist"
}
{
"type": "http",
"response_time": 1.05,
"country": "US",
"export_address": ["149.28.37.131"],
"anonymity": "transparent",
"port": 3128,
"host": "149.28.37.131",
"from": "proxylist"
}

复制代码

作者: 议长 时间: 2021-6-11 14:14

zxxx 发表于 2021-6-11 14:12

有没有傻瓜式的方法。。。
比如用php实现类似于api提取一样

作者: zxxx 时间: 2021-6-11 14:15

议长发表于 2021-6-11 14:14
有没有傻瓜式的方法。。。
比如用php实现类似于api提取一样

其他的不会，我就是用文本编辑器格式化了一下

作者: 呼啦啦 时间: 2021-6-11 14:28
这种简单的文本处理方法有无数种，就看大佬有没有时间了，或许发点红包

作者: Sid 时间: 2021-6-11 14:55
咋天才找论子里嗷嗷给我写了一套脚本现在自己扫.日活1w左右

作者: 议长 时间: 2021-6-11 15:05

Sid 发表于 2021-6-11 14:55
咋天才找论子里嗷嗷给我写了一套脚本现在自己扫.日活1w左右

分享他一撒大佬

作者: 干货插眼小助手 时间: 2021-6-11 15:19
本帖最后由干货插眼小助手于 2021-6-11 15:20 编辑

议长发表于 2021-6-11 14:14
有没有傻瓜式的方法。。。
比如用php实现类似于api提取一样

自己的PHP小项目也在用，仅供参考：

function getProxy($country) {
$raw = file_get_content('https://github.com/fate0/proxylist/raw/master/proxy.list');
$nodes = explode(PHP_EOL, $raw);
foreach ($nodes as $node) {
$node = json_decode($node);
// 筛选指定国家(可选)
if($node->country == $country)
$proxy .= PHP_EOL . $node->host . ':' . $node->port;
}
return $proxy;
}

复制代码

作者: laosj 时间: 2021-6-11 15:52
好东西，谢谢分享

作者: loveqianool 时间: 2021-6-11 16:10

议长发表于 2021-6-11 12:26
大佬这个我不会用有具体教程吗：？https://github.com/imWildCat/scylla

https://scylla.wildcat.io/zh/latest/
人家官方文档写的不够好吗

作者: 议长 时间: 2021-6-11 16:13

loveqianool 发表于 2021-6-11 16:10
https://scylla.wildcat.io/zh/latest/
人家官方文档写的不够好吗

啊，我小白看不大明白，我只会那种一行一行命令执行完成就能用的

作者: loveqianool 时间: 2021-6-11 16:14

议长发表于 2021-6-11 16:13
啊，我小白看不大明白，我只会那种一行一行命令执行完成就能用的

dabian 吗

作者: 议长 时间: 2021-6-11 16:34

loveqianool 发表于 2021-6-11 16:14
dabian 吗

CentOS 7.6

欢迎光临全球主机交流论坛 (https://loc.fffk.eu.org/)