使用shell脚本找出网站的空页面和404错误页面
早之前记的一个笔记了，之前只是记录了两句代码，放出来的话也是一个低质量的页面，于是设置为了仅自己可见，今晚抽空补充一下。
记得当的情景应该是提交sitemap时百度老提示有错误的URL，导致sitemap不能正常被抓取，于是在想办法解决这个问题，所以才有下面这些笔记：用shell批量找出网站空页面和404错误页面。
废话不多说，直接上shell代码：
time cat sitemap.txt|while read line;do curl -l $line -m 5 --connect-timeout 5 -o /dev/null -s -w "$line "%{http_code}" "%{size_download}"\n";done
前面加了一个time是为了看看代码执行所花的时间
%{http_code}意思是返回HTTP状态码，通过这个状态码我们就能知道该链接是正常的200链接，还是404错误链接；
%{size_download}意思是返回当前页面的大小，如果值太小的话，说明这些页面很有可能是低质量的空页面，得想办法剔除掉。
-
本文向大家介绍Shell脚本监控网站页面正常打开情况，包括了Shell脚本监控网站页面正常打开情况的使用技巧和注意事项，需要的朋友参考一下 现在单位为了省钱，我用了shell脚本，简单的写了一个监控。通过curl一个固定页面的200状态码，如果是200，就说网站是正常的,如果不是200就自动重启网站，然后发邮件到QQ邮箱。自己在上QQ的同时，通过微信也可以收到报警，不但可以收到报警，还可以解决问题
-
我们有这样的设置： http pd被配置为将所有请求转发到URL /app*以mod_jk。http pd被配置为HTTP错误404、500等的自定义错误页面。 如果用户输入 URL， - 则会显示 httpd 的自定义 404 错误页面。 如果用户输入URL，＜code＞http://hostname/app-blabblah-然后，将显示Tomcat的404错误页面。托管在/app上的应用程序
-
这是我在SpringMVC中使用Maven的第一个应用程序。下面是应用程序结构。 控制器代码： 当我点击index.jsp中的链接时，页面应该被遍历到helloworld.jsp
-
问题内容： 在我的Spring Boot应用程序中，我试图配置自定义错误页面，例如404，我在应用程序配置中添加了以下Bean： 此外，我还创建了以下简单的Thymeleaf模板： 并将其添加到文件夹中。现在，在404错误上，我只能看到白屏。 我在做什么错以及如何正确设置404页面？此外，是否可以将模板而不是仅将静态页面用于自定义错误页面？ 问题答案： 在Spring Boot 1.4.x中，你可
-
在我的Spring Boot应用程序中，我试图配置自定义错误页，例如，对于404，我在应用程序配置中添加了以下Bean： 此外，我还创建了以下简单的Thymeleaf模板： 并将其添加到文件夹中。现在关于404错误，我只能看到白色屏幕。 我做错了什么？如何正确设置404页面？另外，是否可以使用模板而不仅仅是静态页面来定制错误页面？
-
问题内容： 我正在尝试在shell脚本中编写代码。当我尝试将代码从批处理脚本转换为外壳脚本时，出现错误。 批处理文件代码 外壳脚本中的代码 我想根据日期对快照进行排序，并将最新日期创建的快照保存在文件中。 ece-describe-snapshots的样本输出： 它将包含这样的记录 snaphsot的最新文件应包含： 任何建议或线索表示赞赏。 问题答案： 它是一种代码气味，您必须两次运行命令。 不