shuspieler

新闻酸菜馆会员节目VIP 爬虫全集下载

9 Comments /

是什么时候喜欢上听播客的呢？来德国之后吧，确切的说应该是15年正式入学后。个人的感触是，在德国最难熬的并不是无尽的学业问题，而是从早晨睁开眼到晚上要和自己说晚安了，都没有和几个人有过交流。来这里感觉最得到锻炼的就是忍受长时间的孤单。有个男女朋友还好，心灵的伴侣到不清楚，至少生活的依靠是很给人以安慰的。 更加感觉到这个世界对于单身狗满满的恶意。 有点跑题。 一个人生活，一个人学习，一个人住的话整个屋会特别的安静，不用担心有人吵到你。可是这种环境太让人压抑了。一些感觉难以描述，只有经历过才会有共鸣。 当时为了让家里有点生活气息，就找点节目随便播播，也不为听内容，就是让家里不那么的冷清。当时听过很多电台，新闻酸菜馆也是随便放放，可是听了几期后觉得有点意思，后来就每期必听，真的成了一条酸菜鱼。 遗憾的是，今年的10月，本来说相伴永远的公开节目停播了，其实之前也有想到，可是真的到了这个时候还是感觉好不舍。太多压抑的夜晚，是叮叮和王掌柜陪我度过的。可以说，这档节目对于我的留学这几年有特别重要的意义，不想说再见。 还好有会员节目，可是我是一个穷逼，一直买不起。。。公开节目停播后，我凑了微信余额宝以及银行卡三个地方的钱，终于凑齐了会员费，开始成为一名VIP酸菜鱼。订阅后发现一个问题，最新的节目可以通过iPhone的博客来很方便的播放，而往期节目需要到官方网站上点播，或者从网站下载播放。这也太不方便了。 看了下官网当时有102期会员节目，一个一个点击下载需要至少半个小时，太浪费时间了。所以我想着写个爬虫自动下载这一百多个音频。 好讽刺的是，写爬虫至最终能用用了我两个多小时。。。 很简单的一个python爬虫，我拿到这里提供给同样需要这个工具的同学。注意，爬虫需要vip会员账号登陆网站后的验证信息，所以用这个爬虫知识给购买了会员需要下载全集的同学一个方便，并不能在未购买的情况话来获得资源。 #coding: utf-8 import urllib.request import re header = { ‘Host’: ‘vip.wasai.org’, ‘Connection’: ‘keep-alive’, ‘Cache-Control’: ‘max-age=0’, ‘Upgrade-Insecure-Requests’: ‘1’, ‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36’, ‘Accept’: ‘text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8’, ‘Referer’: ‘http://vip.wasai.org/wp-login.php’, # ‘Accept-Encoding’: ‘gzip, deflate’, 支持压缩后，收到的是gzip后的数据流，还需要解压，增加工作量，故将此特性去掉。 ‘Accept-Language’: ‘zh-CN,zh;q=0.8,en;q=0.6,de;q=0.4,zh-TW;q=0.2’, ‘Cookie’: ‘最重要的一项： 这里粘贴你的cookie’ } […]

新闻酸菜馆会员节目VIP 爬虫全集下载 Read More »

Leave a Comment /

把长文和心情分开，心情一栏相对比较随便，尝试不出现在最近发布的那一栏里。

Read More »

Leave a Comment /

尝试新建一栏，在这个只有自己关心的地儿，记录我那不时冒出的千奇百怪想法以及捉摸不定的心情。

Read More »

时隔一个月，终于从百度的沙盒走出来了

Leave a Comment /

作为一个中文为主的个人博客，一直看不到百度收录，这还是很影响心情的。其间又是主动推送，又是生成sitemap，只见百度蜘蛛过来爬却不见出现在搜索结果中。一个多月过去了，今天顺手一下，百度直接搜索域名已经不再提示没有收录而是可以显示我的网站了。虽然现在搜索关键字还不能出现结果但是已经是进步的表现。打开站长工具，也同时弹出一个让输入备案号的窗口，看来不备案的权重要被降低是毫无疑问的事情啊。 站长工具提示输入备案号的窗口 同样是搜索引擎，google能做到我开通网站当天就存入收录，到现在为止，已经收录了我23个网址了。   2017.08.25 更新 百度搜索我的昵称shuspieler已经可以看到我的主页了。可是现在权重还没有我的微薄知乎高。

时隔一个月，终于从百度的沙盒走出来了 Read More »

Leave a Comment /

在没有能力金钱投资之前，用时间来投资自己，用注意力来投资亲密关系。网上很多人喷李笑来的鸡汤，而我却觉得说到我心坎上了。

Read More »

XXX服务器 网页监控查看登陆用户、登陆时间、登陆IP、在线时间、流量统计等信息

Leave a Comment /

之前记录了XXX服务器端怎样查看登陆用户、登陆时间、登陆IP、在线时间、流量统计等信息，保存下来后在/var/log里边一个文本里，查看的时候需要SSH连接到服务器通过cat，tail等文本文件查看器查看，不够方便。我的这个服务器同时跑着我的博客，LAMP方案，一直在思考如果能网页端查看就太棒了。 之前的方案在这里：https://shuspieler.com/blog/756/ 就在刚才想到了一个迂回解决方案，显示效果稍微有点low，但是能看到哪个用户在线，能查看历史连接，以及标题中所有的那些信息，凑合着已经解决了我的需求。具体解决办法如下： （默认我认为读者也配置好了http服务器，不一定是apache和PHP，其他的理论上也可以） 通过下边命令将log文件软连接到网页文件夹： sudo ln -s /var/log/XXX-ppp0.log /var/www/html/ 之后，通过浏览器尝试打开 http://服务器IP/XXX-ppp2.log 提示Forbidden禁止连接。这是预想到的，因为权限问题，运行apache的用户没有权限读取这个log文件。 通过ls -l 查看/var/log/XXX-ppp0.log得知这个文件属于root组的root用户。apache默认用户是www-data，为何使这个用户有读取权限，我的解决办法是将XXX-ppp0.log换成www-data所在的组，也就是同名的www-data组，同时将XXX-ppp0.log权限设置成组成员可读，命令如下： sudo chgrp www-data /var/log/XXX-ppp0.log sudo chmod g+r /var/log/XXX-ppp0.log 第一句将XXX-ppp0.log的组换成了www-data，第二个命令赋予了这个文件组成员可读的权限。 之后查看文件权限长这样： 第二个r代表了组成员有读取权限，并且这个文件还属于root，但是组换成了www-data。 之后通过浏览器访问下边的页面即可看XXX用户情况，多个ppp的log是放之多用户冲突： http://服务器IP/XXX-ppp0.log 根据上篇教程贴可知，如果用户在线，日志中之写入了登陆信息，当用户离线，则写入离开时间以及流量用量等信息。 **************************************************** username: XXX clientIP: XXX.XXX.XXX.XXX device: ppp0 xxxIP: 172.16.0.1 assignIP: 172.16.0.10 logintime: 2018-06-10_17:11:20 如果打开那个网页在线，说明当前XXX正在线，如果离线，则打开网页显示如下： **************************************************** username: XXX clientIP: XXX.XXX.XXX.XXX device: ppp0 xxxIP: 172.16.0.1 assignIP: 172.16.0.10

XXX服务器 网页监控查看登陆用户、登陆时间、登陆IP、在线时间、流量统计等信息 Read More »

XXX服务器记录登陆用户、登陆时间、登陆IP、在线时间、流量统计等信息

Leave a Comment /

搞了个XXX服务器以备不时之需，服务器流量是有限额的，所以花了点时间研究了研究记录使用量功能。现在不仅可以记录每个用户用了多少流量，还可以记录下来登录时间登陆IP（PPTP有效，L2TP不知为何采集不到） 步骤很简单，在/etc/ppp/ip-up文件最下边添加下边的脚本： echo “****************************************************” >> /var/log/XXX-${1}.log echo “username: $PEERNAME” >> /var/log/XXX-${1}.log echo “clientIP: $6” >> /var/log/XXX-${1}.log echo “device: $1” >> /var/log/XXX-${1}.log echo “xxxIP: $4” >> /var/log/XXX-${1}.log echo “assignIP: $5” >> /var/log/XXX-${1}.log echo “logintime: `date -d today +%F_%T`” >> /var/log/XXX-${1}.log 在/etc/ppp/ip-down文件最下边添加下边的脚本： echo “downtime: `date -d today +%F_%T`” >> /var/log/XXX-${1}.log echo “bytes sent: $BYTES_SENT B” >> /var/log/XXX-${1}.log

XXX服务器记录登陆用户、登陆时间、登陆IP、在线时间、流量统计等信息 Read More »

最终，我还是换到了CloudFlare，这里是解决log以及Slimstat显示ip不正确的问题

Leave a Comment /

我在之前的文章记录了我将博客全面开启https的历程，服务器在法兰克福，为了提高在境内的访问速度，我对比了多家选择了魔门云CDN。这家CDN优点很突出，推广期免费用户也不限流量，并且支持自定义SSL证书，这样可是使我的逼格保持下去。同样这个原因我抛弃了百度云加速，其实它什么都挺好的，就是免费套餐不能用https让我不开心。 魔门云是cname到他们的一个域名上，对于国内访问比较多的网站，没备案一般放在香港的节点。这样对于国内的普通用户其实是非常使用的，毕竟需要解决最大的问题是拉近用户和服务器距离，香港在境外对比应该是距离最近的了吧。可是对于我生活在德国，服务器在法兰克福，本来速度超快ping都是低于10毫秒，可是加上魔门云CDN后，我访问我自己网站流量要先从法兰克福去香港，再从香港到我这里，快要绕地球一圈了，所以毫无疑问ping飙到300以上，而用了一段时间观察魔门云并不支持多ip，也就是也并没有智能的在我身边启用一个节点，所以我决定换成CloudFlare了。 效果相当的好。自动为我分配美国的节点，但是ping却没有感觉到有太大的区别，看下图，上边是域名直接连接到我的服务器ip，下边是通过CDN中转后的时间。 国内的访问也相当的惊艳，我之前担心国外的服务水土不服，看来是我多虑了。 大部分颜色都淡淡的，红色可能是我更新了DNS后当地还没来得及跟上并且可以看到是多ip解析，所以全球各个地方应该都应该速度不错，包括中国大陆。其中还包括了一个ipv6地址我也是挺服的。。 对比直接连接服务器ip的耗时： 另外这个CDN也遇到了魔门云同样的问题，服务器获取的ip不是最终客户端的ip，这个CDN把访客真实IP写在了X_Forwareded_For这个头标签里而不是X_Real_IP，所以设置和魔门云有点不同。 在mod_rpaf的配置文件中将CoudFlare的ip加入代理名单，全部需要加入的IP在这里：https://support.cloudflare.com/hc/en-us/articles/200170706-How-do-I-restore-original-visitor-IP-with-Nginx- 方法可以参照我之前的帖子。 在Apache设置中是这样： LogFormat “%{X-Forwarded-For}i %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-Agent}i\”” custom 在wp-config.php是这样： /*add for CloudFlare CDN to get original IP*/ if (!($_SERVER[“HTTP_X_FORWARDED_FOR”]==””)){ $_SERVER[‘REMOTE_ADDR’] = $_SERVER[‘HTTP_X_FORWARDED_FOR’]; } 其他的步骤可以参考我的下边这个文章，里边有详细的步骤，把其中的有关X_Real_IP改成X_Forwareded_For就好了。 mod_rpaf模块对于https的支持：Apache2.4获取使用CDN后访客的真实ip （基于Amazon Linux EC2） 免费套餐不支持自定义SSL证书，不过官方提供一个泛域名证书，也是默认实现https连接， 不是用自己证书还是小小的和想的不一样，不过算了不纠结这么多了，其他人也不会这么有耐心还看你用的啥证书，看到绿色的安全标志就足够了。    

最终，我还是换到了CloudFlare，这里是解决log以及Slimstat显示ip不正确的问题 Read More »

mod_rpaf模块对于https的支持：Apache2.4获取使用CDN后访客的真实ip （基于Amazon Linux EC2）

Leave a Comment /

与上个文章有关，魔门云：一家免费套餐中支持https的CDN，我的主机在法兰克福，使用魔门云CDN给国内的朋友加速。效果很不错但是有个小瑕疵就像我在那个帖子说的那样，统计插件里边的ip都成了CDN服务器的ip，标识地址的国旗全变成了香港旗帜，Apache的log也统一记录的只有那几个CDN的来访地址。 查询网上帖子了解到这个插件：mod_rpaf模块，解决Apache服务器在CDN后获取真实ip的问题。我总结了一下安装过程，还是挺简单的。 首先官方yum库里边没有这个插件，需要从网上找资源下载，很多帖子都贴出一些地址，可是这些地址很容易失效或者出现不同版本linux兼容问题，甚至还有可能出现带病毒的问题。所以在我的教程中直接从作者github下载源码编译，这样上边的所有问题都一次性解决，最为理想的方式并且也不复杂。 首先安装一些git以及编译需要用到工具: sudo yum install git make gcc httpd24-devel vim（对于apache版本httpd24-devel可能不同） 然后下载mod_rpaf源码： git clone https://github.com/gnif/mod_rpaf.git 编译，安装： sudo make sudo make install 在Apache配置文件中添加对这个模块的加载以及配置信息，可以直接添加在httpd.conf中在我的系统中这个文件在/etc/httpd/conf/httpd.conf，很多教程也是这样讲的，但是我看在我的虚拟机中默认把模块的配置文件分出来了放在了/etc/httpd/conf.modules.d（这些扩展配置文件都是被主配置文件httpd.conf调用的），为了保持统一，我也就学习系统默认的样子将这个模块的配置放在这个文件夹： sudo vim /etc/httpd/conf.modules.d/mod-rpaf.conf 将下边内容填入这个文本： LoadModule rpaf_module modules/mod_rpaf.so RPAF_Enable On RPAF_Header X-Forwarded-For RPAF_ProxyIPs 119.28.0.0/16 106.75.0.0/16 120.132.0.0/16 121.201.0.0/16 139.198.0.0/16 43.255.29.0/24 103.74.193.0/24 RPAF_SetHostName On RPAF_SetHTTPS On RPAF_SetPort On RPAF_ForbidIfNotProxy Off 其中，RPAF_ProxyIPs后边需要填CDN服务器的ip，这个可以从CDN帮助文档中找到，比如说我用的魔云门类似于这样的：https://docs.cachemoment.com/faq/using/ip-list.html。 这样Apache服务器就能识别X-Real-IP 和X-Forwarded-For 两个标签。找到下边的这配置日志记录的一段，替换成下边的内容： <IfModule log_config_module>

mod_rpaf模块对于https的支持：Apache2.4获取使用CDN后访客的真实ip （基于Amazon Linux EC2） Read More »