跳至内容

萝莉控のIT世界

萝莉控有什么错!

标签: python

发布于2024-11-122024-11-12

慎用redis的keys, 请使用scan!

开发项目中经常会用到redis做临时存储,比如一些上报较为频繁的浏览、点击等记录信息,都会事先丢到redis中,再由定时脚本将redis中的数据读取出来,处理完成过后入库、删除redis信息,一套下来行云流水,看起来并没有任何问题...

继续阅读“慎用redis的keys, 请使用scan!”

发布于2024-11-122024-11-12

使用python借助无头浏览器获取登录过后的cookie

写爬虫经常会遇到需要登录的情况,有的网站可能会做一些前端加密之内的操作,去慢慢分析包可能还不如借助无头浏览器模拟人工登录来的效率,当然如果还有人机验证的话这篇文章就不在考虑范围内了

继续阅读“使用python借助无头浏览器获取登录过后的cookie”

发布于2022-07-20

python3 通过年月日获取准确的年龄

要做个防沉迷验证,需要精确判断0-8,8-16,16-18和18+的用户,单纯使用年份相减显得不太严谨

继续阅读“python3 通过年月日获取准确的年龄”

发布于2021-11-24

PIP安装提示ERROR: Cannot uninstall ‘setuptools’.

正在做一些数据迁移, 结果某个脚本迁移过来过后, 缺少某个库, 果断pip install一下, 好家伙...直接提示ERROR: Cannot uninstall 'setuptools'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.

继续阅读“PIP安装提示ERROR: Cannot uninstall ‘setuptools’.”

发布于2018-12-10

debian ubuntu 假蜘蛛硬核过滤方法

这几天服务器带宽无缘无故升高了很多, 看了一眼nginx日志,发现有很多Baiduspider的请求,百度啥时候这么给力了?

随即在nginx配置中过滤掉了所有带有Baiduspider字样UA的请求,带宽瞬间降低

怀疑网站遭受了伪装成爬虫的CC攻击
继续阅读“debian ubuntu 假蜘蛛硬核过滤方法”

自豪地采用WordPress