将多个HTML文档合并成一个HTML文档
目录
最近在看Vim插件方面的资料，原来一直都只用ctags和cscope看代码，发现看一些大型项目还是不太方便，还是得求助于更多的插件。找了一下发现还是易水老师的《Vi/Vim使用进阶》系列最靠谱，并且还提供pdf下载，于是下载了准备随身携带方便慢慢看。但打开发现有个问题，里面的插图太小了，需要点击小图并联网后才能打开大图，怎么办呢？易水老师也提供了html版本的系列文章下载，于是想可以用修改html版本的文章，替换成大图，再生成pdf，但现在的pdf工具好用的不多，还不支持多个html文档的合并。那能不能自己合并一下再转pdf呢？
于是花点时间研究了下如何合并HTML文档，对于结构完整的HTML文档，合并多个文档的过程是很简单的，就是选一个文档作为主干，将其余HTML文档的”< html>< body> … < /html>< /body>” 标记去掉并塞进主干文档当中。比较麻烦的是按照当需要合并的文档是有章节组织的，这个时候按照章节顺序来合并才有意义。于是又花了点时间研究了下，发现可以从目录中提取出顺序已经定好的章节信息。确定可行后，剩下的就是如何实现了，这个需求很简单，看来用不着专门为这个动用HTML语法的解析器，最快的办法还是用Bash脚本来实现，下面就是实现这个功能的脚本，供有同样需求的朋友参考：
merge_html.sh脚本
#! /bin/bash
# A simple HTML file merge scripts.
# Author: Lewis Liu
# Version: 0.1
# Merge HTML files in given folder and generate a mono html file called "all_in_one.html"
# User can specify an index file which contains a list of all files in chapter order, and
# if not specified, the script will use 'ls' to list all files that need to be merged.
#
TARGET="all_in_one.html"
#clean result and intermediate files from last run
rm -vf ${TARGET} toc.tag *.sed index.list
# default html tag tokens
TOKEN_TOC='<div class="toc">'
TOKEN_CHAP_PREFIX='<span class="chapter"><a href="'
TOKEN_CHAP_NAME='[0-9a-zA-Z,\_]+\.html'
TOKEN_BODY_BEG='<body>'
TOKEN_BODY_END='</body>'
TOKEN_HTML_BEG='<html>'
TOKEN_HTML_END='</html>'
# use extended regex
GREP='egrep'
SED='sed'
# debug only
#html_path='html'
#index_page='index.html'
print_usage()
{
printf "./merge_html.sh [OPTIONS] html_path [index_page]\n"
printf "PARAMETERS:\n"
printf "\thtml_path Path to html files need to be merged.\n"
printf "\tindex_page The html file which contains toc(table of contents).\ If not provided, the html files will be merged in the order of 'ls' output.\n"
printf "OPTIONS:\n"
printf "\t--tok-toc Overide the toc(table of contents) pattern.\n"
printf "\t--tok-prefix Overide the html file tag prefix pattern. \ This will be used to address the html file name.\n"
printf "\t--tok-name Overide the html file name pattern.\n"
printf "\t-h|--help print this help message.\n"
}
# sed script1: remove address token and trailing "
cat>rm_addr_tok.sed<<EOF
{
s/${TOKEN_CHAP_PREFIX}//g
s/\"$//g } EOF # sed script2: replace thumbnail image file name with the regular one cat>rm_tb_pic.sed<<EOF { s/\-[0-9]\{3\}x[0-9]\{3\}\.jpg/\.jpg/g s/\-[0-9]\{3\}x[0-9]\{3\}\.png/\.png/g } EOF # sed script3: remove html and body begin tag in each chapter cat>rm_html_tag.sed<<EOF { s;${TOKEN_HTML_BEG};;g s;${TOKEN_BODY_BEG};;g s;${TOKEN_BODY_END};;g s;${TOKEN_HTML_END};;g } EOF # parameters index_page_default="index.html" html_path= index_page= USE_LS_RESULT= PARSED_OPT=`getopt -o h --long tok-toc:,tok-prefix:,tok-name:,help\ -n "$0" -- "$@"` if [ $? != 0 ] ; then echo "Terminating..." >&2 ; exit 1 ; fi eval set -- "$PARSED_OPT" while true;do case "$1" in --tok-toc) TOKEN_TOC="$2" echo "TOKEN_TOC: ${TOKEN_TOC}" shift 2 ;; --tok-prefix) TOKEN_CHAP_PREFIX="$2" echo "TOKEN_CHAP_PREFIX: ${TOKEN_CHAP_PREFIX}" shift 2 ;; --tok-name) TOKEN_CHAP_NAME="$2" echo "TOKEN_CHAP_NAME: ${TOKEN_CHAP_NAME}" shift 2 ;; -h|--help) print_usage; shift ; exit 0 ;; --) shift ; break ;; # delimter of non-option arguments *) echo " Internal error!" ; exit 1 ;; esac done # now processing non-option arguments... if [[ -z "$@" ]]; then read -p "Please specify the folder of html files need to be merged: " html_path else for arg do if [[ -d $arg ]]; then html_path=$arg elif [[ -n $html_path && -f "$html_path/$arg" ]]; then IS_HTML=`egrep -o "^$TOKEN_HTML_BEG|$TOKEN_HTML_END$" "$html_path/$arg"` if [[ -z "$IS_HTML" ]]; then echo "Not a html file, try again." ; exit 1 fi index_page=$arg fi done fi if [[ -z "$html_path" ]]; then echo "No html files path specified. Exit." exit 1 elif [[ -z "$index_page" ]]; then echo "No index file specified, use 'ls' result instead." USE_LS_RESULT=1 fi if [[ -z $USE_LS_RESULT ]]; then echo "Trying to extract TOC from index page... " ${GREP} -o "${TOKEN_TOC}" "$html_path/$index_page" > toc.tag if [[ -s toc.tag ]]; then ${GREP} "${TOKEN_TOC}" $html_path/$index_page |${GREP} -o \ "${TOKEN_CHAP_PREFIX}${TOKEN_CHAP_NAME}" | ${SED} -f rm_addr_tok.sed > index.list else # fall back to 'ls' result echo "No table of contents found in index page. Will use file order in $html_path" # index_page must be excluded from toc ... ls -t $html_path |${GREP} -iv "$index_page" > index.list fi else # index_page must be excluded from toc ... ls -t $html_path |${GREP} -iv "$index_page_default" > index.list fi echo "TOC: " cat index.list echo "Merging html files ... " for i in $(< index.list) do # sed -f rm_tb_pic.sed -i "$html_path/$i" sed -f rm_html_tag.sed "$html_path/$i" >> ${TARGET} done echo "${TOKEN_BODY_END}${TOKEN_HTML_END}" >> ${TARGET} echo "Merged result: ${TARGET}"使用说明
以易水老师的《Vi/Vim使用进阶》为例，将html文件下载到本地，例如html目录，然后运行
# ./merge_html.sh html index.html搞定！其中html是待合并html文件所在目录，index.html是提供目录页的html文档。因为文档里除了index.html外第一章也包含了目录，所以就用grep把index.html从待合并文件列表中去掉了。
如果没有提供包含目录的html文件，或者文件里找不到目录信息，脚本就会使用ls命令生成待合并文件列表，并按这个顺序合并所有html文档。
由于易水老师文章的版权要求，这里就不提供转换好的html文档和pdf文档了，有需要的朋友可以下载脚本自己转一下。
对脚本的几处解释
- 脚本里的第二个sed命令脚本用来将《Vi/Vim使用进阶》中的小图替换成大图，这样方便直接打印。需要的话请将注释去掉
# sed -f rm_tb_pic.sed -i "$html_path/$i"
- 脚本使用TOKEN_TOC来匹配目录所在的行，这里有个TODO，就是如果目录是分行写的，匹配就会失败，这个问题留待以后解决。TOKEN_CHAP_PREFIX用来匹配TOC中每个章节的TAG，而TOKEN_CHAP_NAME用来匹配每个章节的标题，这几个TOKEN都可以通过脚本参数手动覆盖。
- 脚本参考/usr/share/doc/util-linux/examples/getopt-parse.bash脚本，使用了getopt来处理命令行参数。但getopt存在一定的可移植性问题，可以参考stackoverflow上的讨论
- getopt的使用
PARSED_OPT=`getopt -o h --long tok-toc:,tok-prefix:,tok-name:,help\
-n "$0" -- "$@"`
在Linux上getopt命令是调用GNU C库的getopt函数实现的，所以支持的选项(options)规则完全一样，例如”-“指定单字符选项，后跟”:“表示该选项必须提供参数（argument），”：：“表示参数可选。getopt命令本身也按照UNIX的标准处理自己的参数——需要用”- -“将非选项参数和选项隔离开来。所以需要将调用getopt命令的脚本，即merge_html.sh的命令行全部参数作为一个整体”$@“，并且是非选项参数（Non-opt arguments）传给getopt。并且为了保留命令行参数里的特殊字符需要加”“。
getopt会根据 -o和–long 指定的选项名称和类型对”$@“进行分解，得到的结果保留在PARSED_OPT变量中并将其作为”$@“供后续的while 循环和shift处理。-n ”$0“ 指定merge_html.sh为报错时getopt所使用的身份，因为getopt是给merge_html.sh打工的，所以这样处理后报错的时候显示的就是：”merge_html.sh: invalid option.” 看上去比较符合逻辑。
