python使用html2text库实现从HTML转markdown的方法详解

2023-07-31 20:01:03 68

如果PyPi上搜html2text的话，找到的是另外一个库：Alir3z4/html2text。这个库是从aaronsw/html2textfork过来，并在此基础上对功能进行了扩展。因此是直接用pip安装的，因此本文主要来讲讲这个库。

首先，进行安装：

pipinstallhtml2text

命令行方式使用html2text

安装完后，就可以通过命令html2text进行一系列的操作了。

html2text命令使用方式为：html2text[(filename|url)[encoding]]。通过html2text-h，我们可以查看该命令支持的选项：

选项描述 --version 显示程序版本号并退出 -h,--help 显示帮助信息并退出 --no-wrap-links 转换期间包装链接 --ignore-emphasis 对于强调，不包含任何格式 --reference-links 使用参考样式的链接，而不是内联链接 --ignore-links 对于链接，不包含任何格式 --protect-links 保护链接不换行，并用尖角括号将其围起来 --ignore-images 对于图像，不包含任何格式 --images-to-alt 丢弃图像数据，只保留替换文本 --images-with-size 将图像标签作为原生html，并带height和width属性，以保留维度 -g,--google-doc 转换一个被导出为html的谷歌文档 -d,--dash-unordered-list 对于无序列表，使用破折号而不是星号 -e,--asterisk-emphasis 对于被强调文本，使用星号而不是下划线 -bBODY_WIDTH,--body-width=BODY_WIDTH 每个输出行的字符数，0表示不自动换行 -iLIST_INDENT,--google-list-indent=LIST_INDENT Google缩进嵌套列表的像素数 -s,--hide-strikethrough 隐藏带删除线文本。只有当也指定-g的时候才有用 --escape-all 转义所有特殊字符。输出较为不可读，但是会避免极端情况下的格式化问题。 --bypass-tables 以HTML格式格式化表单，而不是Markdown语法。 --single-line-break 在一个块元素后使用单个换行符，而不是两个换行符。注意：要求–body-width=0 --unicode-snob 整个文档中都使用unicode --no-automatic-links 在任何适用情况下，不要使用自动链接 --no-skip-internal-links 不要跳过内部链接 --links-after-para 将链接置于每段之后而不是文档之后 --mark-code 用

…

将代码块标记出来 --decode-errors=DECODE_ERRORS 如何处理decode错误。接受值为'ignore',‘strict'和'replace'

具体使用如下：

#传递url
html2texthttp://eepurl.com/cK06Gn

#传递文件名，编码方式设置为utf-8
html2texttest.htmlutf-8

脚本中使用html2text

除了直接通过命令行使用html2text外，我们还可以在脚本中将其作为库导入。

我们以以下html文本为例

html_content="""
DataWrangling101:UsingPythontoFetch,Manipulate&VisualizeNBAData

AtutorialusingpandasandafewotherpackagestobuildasimpledatapipeforgettingNBAdata.EventhoughthistutorialisdoneusingNBAdata,youdon'tneedtobeanNBAfantofollowalong.Thesameconceptsandtechniquescanbeappliedtoanyprojectofyourchoosing.

"""

一句话转换html文本为Markdown格式的文本：

importhtml2text
printhtml2text.html2text(html_content)

输出如下：

[DataWrangling101:UsingPythontoFetch,Manipulate&VisualizeNBA

Data](http://blog.yhat.com/posts/visualize-nba-pipelines.html)

Atutorialusingpandasandafewotherpackagestobuildasimpledatapipe

forgettingNBAdata.EventhoughthistutorialisdoneusingNBAdata,you

don'tneedtobeanNBAfantofollowalong.Thesameconceptsandtechniques

canbeappliedtoanyprojectofyourchoosing.

另外，还可以使用上面的配置项：

importhtml2text
h=html2text.HTML2Text()
printh.handle(html_content)#输出同上

注意：下面仅展示使用某个配置项时的输出，不使用某个配置项时使用默认值的输出（如无特殊说明）同上。

--ignore-emphasis

指定选项–ignore-emphasis

h.ignore_emphasis=True
printh.handle("hello,thisisEle
")

输出为：

hello,thisisEle

不指定选项–ignore-emphasis

h.ignore_emphasis=False#默认值
printh.handle("hello,thisisEle
")

输出为：

hello,thisis_Ele_

--reference-links

h.inline_links=False
printh.handle(html_content)

输出为：

[DataWrangling101:UsingPythontoFetch,Manipulate&VisualizeNBA

Data][16]

Atutorialusingpandasandafewotherpackagestobuildasimpledatapipe

forgettingNBAdata.EventhoughthistutorialisdoneusingNBAdata,you

don'tneedtobeanNBAfantofollowalong.Thesameconceptsandtechniques

canbeappliedtoanyprojectofyourchoosing.

[16]:http://blog.yhat.com/posts/visualize-nba-pipelines.html

--ignore-links

h.ignore_links=True
printh.handle(html_content)

输出为：

DataWrangling101:UsingPythontoFetch,Manipulate&VisualizeNBAData

Atutorialusingpandasandafewotherpackagestobuildasimpledatapipe

forgettingNBAdata.EventhoughthistutorialisdoneusingNBAdata,you

don'tneedtobeanNBAfantofollowalong.Thesameconceptsandtechniques

canbeappliedtoanyprojectofyourchoosing.

--protect-links

h.protect_links=True
printh.handle(html_content)

输出为：

[DataWrangling101:UsingPythontoFetch,Manipulate&VisualizeNBA

Data]()

Atutorialusingpandasandafewotherpackagestobuildasimpledatapipe

forgettingNBAdata.EventhoughthistutorialisdoneusingNBAdata,you

don'tneedtobeanNBAfantofollowalong.Thesameconceptsandtechniques

canbeappliedtoanyprojectofyourchoosing.

--ignore-images

h.ignore_images=True
printh.handle('Thisisaimg:ending...
')

输出为：

Thisisaimg: ending...

--images-to-alt

h.images_to_alt=True
printh.handle('Thisisaimg:ending...
')

输出为：

Thisisaimg:hot3ending...

--images-with-size

h.images_with_size=True
printh.handle('Thisisaimg:ending...
')

输出为：

Thisisaimg:
height='32px'alt='hot3'/>ending...

--body-width

h.body_width=0
printh.handle(html_content)

输出为：

[DataWrangling101:UsingPythontoFetch,Manipulate&VisualizeNBAData](http://blog.yhat.com/posts/visualize-nba-pipelines.html)

AtutorialusingpandasandafewotherpackagestobuildasimpledatapipeforgettingNBAdata.EventhoughthistutorialisdoneusingNBAdata,youdon'tneedtobeanNBAfantofollowalong.Thesameconceptsandtechniquescanbeappliedtoanyprojectofyourchoosing.

--mark-code

h.mark_code=True
printh.handle('    rpm -Uvh erlang-solutions-1.0-1.noarch.rpm

输出为：

rpm-Uvherlang-solutions-1.0-1.noarch.rpm

python使用html2text库实现从HTML转markdown的方法详解

命令行方式使用html2text

脚本中使用html2text

热门推荐

随机推荐