Tumblr内容丰富，特别是图片和视频。下面利用Tumblr爬虫，结合h5ai目录直读程序，或者其他图床程序，创建图库。
本方法需要一个Python 2.7的环境，CentOS 6升级Python 2.7方法请参考CentOS 6升级Python 2.6至Python 2.7的方法，CentOS 7自带python 2.7，下面使用CentOS 7和python 2.7。
使用tumblr-crawler爬虫
tumblr-crawler爬虫github项目地址：https://github.com/dixudx/tumblr-crawler
1、安装可能使用的依赖
yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel
yum -y install gcc automake autoconf libtool make
yum install gcc gcc-c++
yum -y install readline-devel
2、安装tumblr-crawler
git clone https://github.com/dixudx/tumblr-crawler.git
cd tumblr-crawler
pip install -r requirements.txt
3、使用tumblr-crawler下载图片和视频
1、在sites.txt中添加tumblr站，用逗号分开，但不需要.tumblr.com后缀。如rat.tumblr.com和rats.tumblr.com
rat,rats
保存后，运行
python tumblr-photo-video-ripper.py
2、直接下载
python tumblr-photo-video-ripper.py rat,rats最后将所有图片和视频均保存在当前路径的与tumblr博客名字相同的文件夹
安装、使用h5ai
原创文章，作者：南猫，如若转载，请注明出处：https://southcat.net/1564/
不妨点个广告再走嘛
微信扫一扫 
支付宝扫一扫 相关推荐
-
Cloud Torrent：支持BT下载/磁力下载/边下边播
说明：Cloud Torrent是一款很不错的离线下载工具，相关工具还有：Debian一键安装Transmission并美化Web界面来进行BT下载，BT种子/磁力链接下载工具：Aria2一键安装管理脚本，CentOS安装aria2+yaaw实现离线下载。 Cloud Torrent特点 支持 BT下载 支持 磁力链接下载 支持 搜索磁力链接 支持 离线下载 支持 边下边播(格式限制：mp4/wbem/ogg，同时需要手动输入链接) 可视化界面Web UI 安装 项目地址：https://github.com/jpillora/cloud-torrent 系统要求：CentOS/Debian/Ubuntu均可。 运行下面命令： wget -N --no-check-certificate https://raw.githubusercontent.com/ToyoDAdoubiBackup/doubi/master/cloudt.sh && chmod +x cloudt.sh && bash cloudt.sh
-
ping.pe：一个可以在线测试服务器延迟和丢包的网站
说明：一个简单实用的在线测试延迟及丢包的网站，测试服务器在全球各地的连接表现，支持PING&MTR。点击各个节点绿色的show可以看到详细的路由。
-
一些主流的WordPress备份插件
说明：WordPress作为目前最火的个人博客程序，其功能齐全最受大家喜欢了。这里收集了几款备份插件。 1、WP DB Backup(免费) https://wordpress.org/plugins/wp-db-backup/ WP DB Backup，相当流行的插件，而且免费。不过仅能备份数据库，不能备份附件、主题等。 2、WP Time Capsule(免费) https://wordpress.org/plugins/wp-time-capsule/ 可以备份整站，而且可以增量备份。 3、BackWPup(免费和收费版) https://wordpress.org/plugins/backwpup/ 可自动备份到Dropbox、Amazon S3、FTP等，收费版可以备份到Amazon Glacier、Google Drive。 4、UpdraftPlus(免费和收费版) https://wordpress.org/plugins/updraftplus/ 功能强大，可以备份到Google Drive、Amazon S3、Dropbox、FTP、emailed，而且可以设置定时备份。 5、Duplicator(免费和收费版) https://wordpress.org/plugins/duplicator/ 收费版功能强大。 6、Backup WordPress(免费和收费版) https://wordpress.org/plugins/backupwordpress/ 可以全站备份，但免费版只能备份到本地，收费版可以备份到其他应用。 7、BlogVault(免费版和收费版) https://wordpress.org/plugins/blogvault-real-time-backup/ 免费版仅能每周备份，收费版可以每日备份。 8、myRepono(收费, 现在可以免费使用) https://wordpress.org/plugins/myrepono-wordpress-backup-plugin/ 现在，捐赠5美金，就可以使用全部功能。可以备份数据库和附件，可以选择每日、每周、每月、每小时备份。 9、VaultPress(收费) https://vaultpress.com/ 提供无限的存储空间。 https://ithemes.com/purchase/backupbuddy/
-
免费获得一年的21TB OneDrive和Microsoft Office 365企业版
说明 微软官方的活动，现在申请Office 365开发者计划，可以获得为期一年的免费Office 365企业版（价值100美元）。最高可获取21TB的OneDrive for Business存储空间，1TB用于管理员帐户，5TB用于4个子账户，申请了后我们就可以用来挂载到VPS服务器，进行离线BT下载或用于其它用途了。 申请 1、先访问申请地址：https://dev.office.com/devprogram，点击立即加入，再登录微软账户。2、再填写国家，公司等信息后，再填写一个表，表的话自己看着填。3、设置订阅信息，输入邮箱信息，密码，再验证电话即可。如果你卡在验证码这步，也就是获取不了验证码，使用梯子解决下。然后就申请成功了。4、等待几分钟，你就可以收到邮件了。再点击邮件给的链接，使用之前设置的邮箱密码登录就可以进行后台操作了。 提示 在创建新用户之前，您应该在“存储设置” 页面上编辑1024到5120的默认OneDrive存储 。要下载Office 365软件包，您需要在此处添加产品许可证 。 如果你要修改全局管理员和已存在用户OneDrive存储大小，可以查看该教程：Microsoft Office365 E3 MSDN全局管理员修改自身和用户OneDrive存储大小方法。 相关教程 Aria2+Aria2Ng+OneIndex一键安装脚本，下载后自动上传至OneDrive VPS使用GDList挂载Google Drive和OneDrive网盘，支持多个同时挂载 在Debian/Ubuntu上使用rclone挂载OneDrive网盘
-
Linux下，使用speedtest测试网络的上/下行速率
简介 speedtest是一个用Python编写的轻量级Linux命令行工具，在Python2.4至3.4版本下均可运行。它基于Speedtest.net的基础架构来测量网络的上/下行速率。安装speedtest很简单——只需要下载其Python脚本文件。 使用 1、安装： wget https://raw.githubusercontent.com/sivel/speedtest-cli/master/speedtest.py chmod a+rx speedtest.py mv speedtest.py /usr/local/bin/speedtest chown root:root /usr/local/bin/speedtest 2、使用： speedtest 输入这个命令后，它会自动发现离你最近的Speedtest.net服务器（地理距离），然后测试出网络上/下行速率。 speedtest --share 这个命令将会把你的测试结果上传到Speedtest.net服务器，并以图形的方式分享给其他人。 speedtest --list 这个命令将会打印出所有的Speedtest.net服务器（按照离你的地理距离由近及远排序）。 speedtest --server 935 在上面的列表中，每个服务器的前面都有一个与其对应的ID。如果想使用指定的服务器来测试你的网速，你只需要在speedtest-cli命令后指定其ID即可。例如，如果想使用在Washington DC的服务器，你只需要指定相对应的服务器ID（如935）。
-
MinerGate：在Windows、Mac、Ubuntu、安卓手机上挖矿教程
说明：如今虚拟货币被炒的很厉害，导致很多人都去挖矿了，之前说过几个挖矿教程，参考：Windows一键傻瓜式免编译Monero矿机，并用CPU挖矿Monero，CentOS 7下莱特币（Litecoin）挖矿教程，今天再说个MinerGate，挖矿超简单，可以使用CPU或者GPU挖矿，支持挖很多矿，博主用来挖Monero试了下，最低提取额为0.1 XMR，可以直观查看收益，而且支持的系统多，适合各种人群。 提示：最好别在VPS上挖矿，这样很快就会因为CPU长时间跑满会被停掉，个别商家会直接给你删掉。建议使用独立服务器，如果真想用VPS挖的，可以限制下VPS使用率后再挖，参考：Linux VPS通过安装CPULimit来限制CPU使用率。 教程 1、在MinerGate注册账号官网注册：https://minergate.com/reg，需要使用代理，因为Google验证被Q。程序下载：https://minergate.com/downloads/gui。 2、Windows系统安装MinerGate挖矿适合32位系统：Minergate V5.20适合64位系统：Minergate V7.0安装简单，一路回车就行。安装完，打开软件，输入注册时的邮箱就可以开挖了。可以选择你需要挖的矿。3、MAC系统安装MinerGate挖矿需10.9以上、64位系统，软件下载：Minergate V7.0 4、Ubuntu系统安装MinerGate挖矿 需16.04以上、64位系统。官方推荐Ubuntu下挖矿效率可以达到60%以上的效果，强烈推荐使用！ 运行命令： curl -L -o minergate-cli-release.deb https://minergate.com/download/deb-cli && dpkg -i minergate-cli-release.deb screen -S mine minergate-cli -user YOUR-EMAI -fcn+xmr 4 命令说明： YOUR-EMAI：你的注册邮箱 -fcn+xmr 3：用4个核挖FCN+XMR -bcn 2：用2个核挖BCN（可额外添加其他矿） 5、安卓手机安装MinerGate挖矿最新安卓版是2.4，本地下载：minergate.miner_2.4.apk 相关问题 1、使用机器的最高效率我自己的实验，CPU和GPU使用50%的资源，效果最好。 2、查看收益动态更新：https://minergate.com/internal 3、CPU和GPU算力查看http://monerobenchmarks.info/list.php
-
宝塔面板免费版详细的使用教程及专业版插件测评
说明：在现如今VPS服务器的普及下，很多站长都愿意购买VPS服务器而不是购买虚拟主机来跑网站和项目，一来是VPS服务器可以根据自己的需要来安装相关的插件及服务，二来是现阶段的服务器价格也能满足我们的成本负担。不过我们在使用Linux服务器建站的时候，纯粹使用SSH客户端操作的时候很麻烦，特别是对小白很不友好。所以很多玩服务器的朋友还是习惯使用Web面板来部署环境，这样我们可以非常轻松简单的管理网站。 现阶段发展起来的Web免费以及付费的面板我们罗列出来大大小小至少能有20-30个，比如我们国内较为熟悉的WDCP、宝塔、AMH、Lnmp以及国外用户使用较多的VestaCP都还是不错的。本文就主要说下宝塔，该面板差不多是博主认为使用最方便，功能也是很全的，目前来说有免费版和专业版(其实也就是免费使用收费插件)，对于一般人来说，免费版够用了，当然专业版也有它的价值，比如可以免费使用很多好的插件，这里就详细的说下免费版使用教程及专业版插件测评，顺便说下使用方法让更多刚开始学会建站的小白了解下。 安装面板 现阶段的宝塔面板已经更新到6.2版本，由于还处于不稳定状态，所以博主推荐安装5.9版本，系统建议选择CentOS。 Linux面板5.9(稳定版)安装命令： #请使用纯净系统安装，也就是没安装过网站环境，比如PHP、Nginx、Mysql等 #CentOS系统 yum install -y wget && wget -O install.sh http://download.bt.cn/install/install.sh && sh install.sh #Ubuntu/Deepin系统： wget -O install.sh http://download.bt.cn/install/install-ubuntu.sh && sudo bash install.sh #Debian系统 wget -O install.sh http://download.bt.cn/install/install-ubuntu.sh && bash install.sh #Fedora系统 wget -O install.sh http://download.bt.cn/install/install.sh && bash install.sh 先使用SSH客户端(这里推荐Xshell)登录VPS服务器，再把上面的安装脚本复制进去Enter运行，一分钟左右即可安装完成宝塔面板。安装完成后会直接在SSH客户端显示后台信息。如果我们后续未修改密码却忘记了密码的话，可以在SSH客户端使用命令bt default来查看安装后的默认后台信息。 免费版使用教程 1、网站环境搭建我们安装宝塔面板后根据信息登录后台，最开始是没有网站环境的，只有个面板而已，然后宝塔会提示让我们选择环境。这里就根据你所安装的程序对环境版本的要求来进行选择了，博主一直使用Lnmp，所以就只选了Nginx 1.12、PHP 7.1、 Mysql 5.5，然后开始点击一键安装，直到安装完成，时间看你的机器性能，性能好就安装快，反之就慢。 安装好了后，在首页就能让我们知道很多有用的信息，比如版本信息、在线时间、网站、数据库数量、服务器状态(进程管理/端口管理)软件、网络等等，总之很人性化。 2、添加域名如何进行网站搭建呢？首先肯定是需要你在你的域名服务商将域名的A记录解析到安装宝塔的VPS服务器了，然后再选择面板左侧网站-添加站点，后面有其他修改默认页面（404等页面）等功能，我们可以按需设置即可。然后设置好后，我们点击该域名的设置按钮，可以看到如下功能： 站点设置：域名管理，可以管理主机名。 子目录绑定：可以为当前站点绑定其他域名作为子目录域名。 网站目录：可以自己修改网站的入口。 流量限制：利用nginx相关参数来对当前站点进行限制。 伪静态：我们可以自行修改或者添加程序所需的伪静态配置，而且上面包含很多程序常用的伪静态配置。 默认文档：默认文档为当前站点的默认首页，我们可以按需设置。 配置文件：配置文件为当前站点的默认配置信息，请谨慎修改。 SSL：当前宝塔是SSL证书已经非常成熟，我们可以自己填写自己的证书，也可以使用免费的Let's Encrypt证书，或者宝塔账号实名后，使用宝塔自己签发的证书。 PHP版本：我们可以根据需要在此处切换PHP的版本。 Tomcat：采用Java环境时，可以配置Tomcat。 301重定向：我们可以对当前站点开启301重定向到其他站点。 反向代理：反向代理在采用Nginx环境时可以使用，我们可以利用Nginx的特性，来代理其他网站。 防盗链：防盗链采用Nginx规则，来对域名的URL后缀设置仅允许访问的规则，避免流量被盗用。 响应日志：响应日志可以看到当前网站是所有记录信息。 3、文件管理域名添加并设置好了后，就需要上传网站源码了，选择面板左侧网站-文件，这是强大好用的文件管理器，支持鼠标右键，支持复制粘贴/删除/上传等常用功能，可以直接替换FTP的功能使用。通常网站根目录在/www/wwwroot中，进入域名文件夹上传自己所需的网站源码即可。 4、数据库管理宝塔对数据库大部分操作都已经实现了，同时有导入导出功能(这个功能是利用了mysqldump来对数据库进行操作)，使用起来还是很方便的。当然如果我们需要改动数据库文件的话，可以通过上面的phpMyAdmin入口进入到数据库WEB管理界面(这里需要事先安装好phpMyAdmin)，对数据库进行一系列操作，记得提前在面板中同步一下数据库。这里基本上建站只需要做到以上4个步骤就可以了，接下来就说下其余的功能。 5、监控宝塔的监控项目可以对系统的详细监控，比如系统负载、CPU、内存，IO等，更清楚的查看服务器全天候运行状况，默认保留30天。 6、安全SSH管理、防火墙、面板操作日志都在这里，我们可以对服务器整个操作进行记录跟踪。在这里更改SSH端口防止被爆破扫描，或者直接关闭SSH登录，开启防火墙端口等操作。 7、宝塔计划任务在所有服务器中，计划任务非常重要，因为服务器随时会面临各种问题，而计划任务的备份就是你最后的救星，所以我们应该妥善设置好自己的服务器计划任务来对数据保驾护航。 任务类型包含以下部分：Shell脚本、备份网站、备份数据库、日志切割、释放内存、访问URL。 8、软件管理软件管理里面对宝塔上付费以及免费的软件都能在这里进行购买、安装、配置、卸载操作。宝塔面板在追求便利和快速的同时，也保留了配置文件的编辑功能，官网提供了很多程序的默认路径，这对我们进行修改提供了很多帮助，所以无论你是小白还是大神，都能简单的使用宝塔面板。 专业版及收费插件测评 博主近几天获得了永久专业版，就顺便体验了下收费插件(专业版是永久免费使用，免费版需要按月付费)，这里就详细的测评下功能，如果你对某些插件有兴趣的，可以注册个宝塔账号→注册链接，使用该链接注册并绑定宝塔的直接赠送半年的宝塔小程序，然后单独购买一个月的插件体验下。如果你有钱的话，功能也需要，可以试着买专业版，永久使用收费插件。 目前专业版可以免费使用以下几个收费插件：这些插件大多都是其他软件含有的功能，如果我们能使用免费版，大多可以自己安装其他软件来实现上面的功能，但是有句话说得好，存在必有存在的价值，如果一个面板对所有能用到的程序进行整合的话，也未尝不是一件好事情。 现阶段的宝塔面板最稳定的就是5.9版本，在6.0版本中，整个界面已经趋于扁平化，不像5.9这样的Bootstrap风格非常明显，由于6.0版本还未趋于成熟，所以我们采用5.9的版本来为大家做详细测试。 专业版首页如下： 专业版插件页面： 1、网站防篡改程序 官方介绍：事件型防篡改程序，可有效保护网站重要文件不被木马篡改。 目前网页防篡改的实现技术主要有：外挂轮询技术、核心内嵌技术、事件触发技术等，网页防篡改主流产品现在市场上也比较多，由于宝塔面板进行了整合，所以我们详细测试下宝塔的防篡改功能。 为了测试防篡改效果，我们先从软件市场的一件部署中部署一个Wordpress博客程序，并且通过Host回源的方法来对域名进行解析。在添加站点并按照Wordprss要求安装好博客后，我们在插件中开启这个网站的防篡改开关。然后我们利用自带的文件管理去修改.php文件，注意，防篡改保护的文件类型在上图的保护菜单中可以自定义设置。 这里我们尝试修改一下wp-config.php，该文件为整个博客的数据库配置文件。将其修改为123后，进行保存操作。刷新后，打开整个博客的其他页面均可正常浏览，我们回到防篡改插件中查看修改记录，可以发现如下的篡改日志记录： 宝塔自带的文件管理方式就和我们常见的FTP方式一样，通过在线文件管理，我们可以很方便的对程序代码进行修改，由于篇幅问题，我们就测试了一下防篡改的文件保护功能，对于防篡改，还有其他很多的防护点可以进行测试，刚才通过上面测试我们可以发现，对程序的修改操作已经进行了拦截，在我们部署的很多程序中，挂马和篡改是现阶段网站遇到的最大问题，其他很多程序也有防篡改功能，但是实质上，我们还是乐意将程序整合在一起，通过一个入口来管理所有的插件，这样的操作方式是最简单也是最方便的。 2、网站监控报表 官方介绍：网站监控报表可以实时精确统计网站流量、ip、uv、pv、请求、蜘蛛等数据。...
-
CentOS 7安装fail2ban+Firewalld防止SSH爆破与CC攻击
说明：差不多很多博主都会遇到被CC攻击和SSH爆破的情况，这个时候就需要做下防御措施了，前几天发过一个防CC脚本，参考：CC-Attack-Protector：Linux VPS防CC攻击一键脚本，带微信提醒，不过对于CentOS 7来说，由于防火墙的因素，配置起来还是有点麻烦的，这里争对CentOS 7再分享个简单防CC攻击和SSH爆破的方法。 前言 fail2ban可以监视你的系统日志，然后匹配日志的错误信息执行相应的屏蔽动作。网上大部分教程都是关于fail2ban+iptables组合，考虑到CentOS 7已经自带Firewalld，所以这里我们也可以利用fail2ban+Firewalld来防CC攻击和SSH爆破。 本教程编辑文件使用vi命令，如果不会用的，可以使用比较简单的nano，可以参考：一个简单易用的Linux文本编辑器：nano的安装与使用，或者使用FTP工具，如WinSCP登录VPS操作。 准备工作 1、检查Firewalld是否启用 #如果您已经安装iptables建议先关闭 service iptables stop #查看Firewalld状态 firewall-cmd --state #启动firewalld systemctl start firewalld #设置开机启动 systemctl enable firewalld.service 启用Firewalld后会禁止所有端口连接，因此请务必放行常用的端口，以免被阻挡在外，以下是放行SSH端口（22）示例，供参考： #放行22端口 firewall-cmd --zone=public --add-port=80/tcp --permanent #重载配置 firewall-cmd --reload #查看已放行端口 firewall-cmd --zone=public --list-ports 2、安装fail2banfail2ban可以监控系统日志，并且根据一定规则匹配异常IP后使用Firewalld将其屏蔽，尤其是针对一些爆破/扫描等非常有效。 #CentOS内置源并未包含fail2ban，需要先安装epel源 yum -y install epel-release #安装fial2ban yum -y install fail2ban 安装成功后fail2ban配置文件位于/etc/fail2ban，其中jail.conf为主配置文件，相关的匹配规则位于filter.d目录，其它目录/文件一般很少用到，如果需要详细了解可自行搜索。 3、配置规则新建jail.local来覆盖fail2ban的一些默认规则： #新建配置 vi /etc/fail2ban/jail.local #默认配置 [DEFAULT] ignoreip = 127.0.0.1/8 bantime = 86400 findtime = 600 maxretry = 5 #这里banaction必须用firewallcmd-ipset,这是fiewalll支持的关键，如果是用Iptables请不要这样填写 banaction = firewallcmd-ipset action = %(action_mwl)s 参数说明： ignoreip：IP白名单，白名单中的IP不会屏蔽，可填写多个以（,）分隔 bantime：屏蔽时间，单位为秒（s） findtime：时间范围 maxretry：最大次数 banaction：屏蔽IP所使用的方法，上面使用firewalld屏蔽端口 防止SSH爆破 如果您还在使用默认SSH端口（22），可能每天都会被扫描，我们可以修改端口尽量避免被扫，参考：Linux VPS服务器SSH端口一键修改脚本，或者可以使用fail2ban将恶意IP屏蔽。 继续修改jail.local这个配置文件，在后面追加如下内容： [sshd] enabled = true filter...
-
CentOS 7安装配置Nginx 1.10、PHP 5.6、MySQL 5.7教程
说明：本教程就是通过一些yum源安装的，挺简单的，喜欢折腾的人可以试试。 安装Nginx 1、建立nginx的yum仓库 rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm nginx的yum仓库地址：http://nginx.org/en/linux_packages.html 2、下载并安装nginx yum install nginx 3、启动nginx服务 systemctl start nginx 4、测试和配置访问IP地址，出现nginx欢迎界面。默认的配置文件在/etc/nginx路径下，使用该配置已经可以正确地运行nginx；如需要自定义，修改其下的nginx.conf等文件即可。 安装php 5.6 1、配置yum源 rpm -Uvh http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-7.rpm remi源默认并没有启用，可以通过修改repo 文件来启用它。 vi /etc/yum.repos.d/remi.repo 修改以下位置： [remi] ...... enabled=1 [remi-php56] ...... enabled=1 如果需要安装php 7，请编辑/etc/yum.repos.d/remi-php70.repo启用相应yum源。 2、确认安装的php版本 yum list | grep php 3、安装php5.6 yum install php php-opcache php-pecl-apcu php-devel php-mbstring php-mcrypt php-mysqlnd php-phpunit-PHPUnit php-pecl-xdebug php-pecl-xhprof php-pdo php-pear php-fpm php-cli php-xml php-bcmath php-process php-gd php-common 上面这条命令安装了一大堆东西，实际请按需安装。启用php-opcache及php-pecl-apcu能有效的提高php执行速度。 4、确认php版本 # php -v PHP 5.6.22 (cli) (built: May 26 2016 15:36:45) Copyright (c) 1997-2016 The PHP Group Zend Engine v2.6.0, Copyright (c)...