Freebase Data Dump结构初探

此文为几年前写的，在华为云这个平台做一次梳理。

作为曾经风靡一时的Freebase，现在上其网站上只能看到Data dump这一数据结构。而这一结构对很多初学者来说往往晦涩难懂，需要掌握RDF和RDFS以及Freebase构图的一定知识。了解好这一部分知识，有助于更好的理解Freebase内数据的构成。

本文分为以下章节：

一、Freebase Dump格式以及其形式化定义

二、Freebase中的类型和属性

三、类型和属性在Freebase中的定义

一、Freebase Dump格式以及其形式化定义

目前Freebase-已迁移至https://developers.google.com/freebase, 其N-Triple 格式的数据下下来约30G，可以直接解压查看，如果磁盘空间不足，使用gunzip工具可以查看其内容，也可以使用Java的GzipInputStream直接读取压缩文件：

gunzip -c freebase-rdf-latest.gz | more

解压后发现数据按行组织，每一行都是一个三元组：

"姚明"@zh . .

从左至右依次是Subject(主语)、Predicate(谓词)、Object(“宾语”或者“客体")

w3c上对RDF格式是这样解释的[1]：

the subject, which is an IRI or a blank node the predicate, which is an IRI the object, which is an IRI, a literal or a blank node

简单来说，就是主语可以是一个IRI或者是blank node，谓词可以是一个IRI,宾语可以是IRI、blanknode、或者文字。

关于IRI是什么，其全称是Internationalized Resource Identifiers，即国际化资源定位符，可以认为是扩展的URI，不仅可以使用英文，Unicode字符集都可以使用。[2]

例如：是一个IRI，则是另一个IRI，其定义中并未说明IRI的地址输入浏览器后可以连通，这些IRI仅仅表示这是一种对资源的引用。所以后缀为m.01jzhl的IRI代表的是一个资源，后缀为type.object.name则代表的是另一个资源。

至于文字（Literal）,w3c给出的例子如下[3]:

"That Seventies Show"^^ . # literal with XML Schema string datatype "That Seventies Show" . # same as above "That Seventies Show"@en . # literal with a language tag "Cette Série des Années Septante"@fr-be . # literal outside of ASCII range with a region subtag "This is a multi-line\nliteral with many quotes (\"\"\"\"\")\nand two apostrophes ('')." . "2"^^ . # xsd:integer "1.663E-4"^^ . # xsd:double

这些三元组的最后一元都是文字，可以看到有一部分文字后面有^^标识，有一部分后面有@标识。^^标识后跟随的是一个IRI（dataType IRI），表示该文字的类型[1],@标识后跟随的是文字的语言（language tag）.

网址[3]中还给出了RDF triple扩展的巴科斯范式的文法，具体如下：

[1] ntriplesDoc ::= triple? (EOL triple)* EOL? [2] triple ::= subject predicate object '.' [3] subject ::= IRIREF | BLANK_NODE_LABEL [4] predicate ::= IRIREF [5] object ::= IRIREF | BLANK_NODE_LABEL | literal [6] literal ::= STRING_LITERAL_QUOTE ('^^' IRIREF | LANGTAG)?

刚刚提到的triple的定义、subject、predicate、object的定义，文法上都清晰的呈现出来，使用这些规则，可以校验N-Triple文档是否符合规范。

通过这些定义，根据object的不同，可以把freebase的triple分为两大类：

1. object为IRI的：这类triple的主语和宾语都是IRI，其object还会链接向其他的节点，在属性图模型中，这类triple可以认为是图中的一条边。

.

2. object为literal的：这类triple宾语是literal， 其object不会再链接向其他的节点，在属性图模型中，这类triple可以认为是顶点属性。

"姚明"@zh .

二、Freebase中的类型和属性

先来简单了解一下Freebase数据结构：

整个Freebase数据库是一张大图，每个节点都使用type/object定义，边使用type/link定义。

不同的节点代表不同的实体，使用不同的MID区分。例如“姚明”的MID为m.01jzhl。

一个实体往往有很多边和属性（Property）。比如对于某一个人，可能有姓名、性别、出生日期、个人经历、职业等等属性和边。

一个实体往往有很多类型。比如"姚明"，在Freebase库中的MID是m.01jzhl，有如下条目(忽略前缀)：

.

与相关的，它在freebase中有这样的条目：

. "1980-09-12"^^ . . . . . . . . . "141.0" .

再比如，姚明还是一位运动员：

.

与运动员相关的，他有如下条目：

. . . . . "1997"^^ . . . . . .

可以简单理解为，在Freebase中，一个实体具有哪些类型的边，往往由其分属哪些类型决定。

三、类型和属性在Freebase中的定义

对于类型和属性，Freebase也有一系列三元组对其进行定义，下列shell脚本可以列出Freebase中的类型：

gunzip -c freebase-rdf-latest.gz |grep 'type.type>'

部分结果摘录如下：

. . . . . . . . . .

这里award.awrad_winner, award.long_list_nominee等都是Freebase的类型。

而还有些类型，则是类似于下列形式（忽略前缀）：

"/people/person" . . . . . .

这里m.04kr代表上文提到的, 即每种类型同样拥有一个MID，此外类型包含哪些属性可以通过谓词查看。对这些信息的详细分析，留待下一节讨论。

相关参考：

[1]w3c RDF1,1 Concept https://www.w3.org/TR/rdf11-concepts/#section-triples

[2]IRI 百度百科 http://baike.baidu.com/item/iri

[3]RDF 1.1 N-Triples:https://www.w3.org/TR/n-triples/

[4]Basic Concepts:http://developers.google.com/freebase/guide/basic_concepts

[5]Freebase.com语义数据库浅析 http://blog.sina.com.cn/s/blog_600791e00100hd4m.html

同时再附几个地址：

freebase data dump:https://developers.google.com/freebase

Freebase 介绍：http://www.ruanyifeng.com/blog/2007/05/freebase_com.html

Freebase再研究 http://www.ruanyifeng.com/blog/2008/04/freebase_reloaded.html

想了解更多的AI技术干货，欢迎上华为云的AI专区，目前有AI编程Python等六大实战营供大家免费学习。（六大实战营link:http://su.modelarts.club/qQB9）

图引擎服务 GES 知识图谱

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。