童祁  腾讯研究院数字内容研究中心高级研究员
 
文化遗产是人类的共同宝藏。 因为其珍稀、脆弱和不可再生性,对遗产进行数字化保存成为必然趋势。 2019年巴黎圣母院发生火灾,再次给全球敲响警钟。 值得庆幸的是,巴黎圣母院保存有极为详细完备的数字扫描资料,《刺客信条》之类的游戏也曾对其进行精细的3D建模,为修复提供了前提条件。 某种程度上,数字技术成为巴黎圣母院“活下去”的希望。
遗产和文物是国家的金色名片,是民族的精神血脉,通过创新方式和技术手段让文物、遗产、文字活起来,成为新的时代课题。 进入“十四五”,文物领域五年规划首次提升为国家级专项规划,文物保护和科技创新的重要性在国家层面被专门强调。 《“十四五”文物保护和科技创新规划》部署了建设国家文物资源大数据库、构建产学研用深度融合的文物科技创新体系等重点任务,大力推进让文物活起来,推动文物保护利用工作全面融入经济社会发展。 [1] 国家虽然已经做出顶层设计和宏观规划,但相应的具体落地情况依然有待加强。 如何让文物和遗产活起来,需要更多社会力量的参与,多元协作,也需要借鉴不同的经验。
Google Arts and Culture (下文简称 GAC) 作为全球最有影响力的数字文化平台,作为全球超级博物馆和数字遗产库,其对数字技术的创意运用,对文化遗产和艺术的活化,有颇多值得借鉴的地方。
虽然国内已有零星探索,但中国还没有一个类似GAC规模和影响力的平台,如果能够打通时间和空间的壁垒,打造一个超级数字遗产平台,借助最新的技术、更多元的方式推动传统文化活起来,搭建中华文明的数字编年史、文化遗产库乃至文物元宇宙,并进行整体性、系统性、全球化、数字化展演,那这个平台既可以成为中国文化软实力的一部分,达到让遗产、文物活起来的目的,也会进一步促进文化科技的发展与融合。

以技术为核 打造全球影响力:

GAC 的演变过程

GAC前身为Google Art Project (GAP) ,是Google于2011年2月1日上线的一个艺术平台。 在上线初期,GAP只打通了17家博物馆,但包括最知名的MoMA和Tate,于是迅速引发关注。 Google借助其搜索、地图、地理定位服务优势,使用街景360度全景图技术,呈现博物馆的内外景观,让用户能随时随地进行线上参观,打造交互体验; 使用其超高像素镜头,发布高像素名画,缩放功能 (micro-scope view) 让用户可以仔细贴近艺术作品详细观摩,因为“十亿像素级图片”可以提供画布的纹理、笔触、灰尘等面对原作时肉眼难以发现的细节,革新艺术观看方式。 Google又与联合国科教文组织合作,使得这一技术在世界文化遗产地开始使用,游客也可以经由Google上传遗产地的实景照片。

2016年GAP更名为GAC,通过网站、手机APP、YouTube等平台进行多元呈现。 作为一个非盈利计划,GAC的定位或者说目标在于“上线全世界的文化艺术,带给每一个人”,力图打破地理的限制,建立全球数字博物馆,实现全人类文化财富的资源开放与共享,目前收录了八十个国家超过两千多家博物馆和艺术机构的逾六百万件艺术藏品。 它的目标用户,一类是合作伙伴,也就是全球主要的博物馆和艺术机构; 一类是普通受众,也就是受过高等教育的城市中产阶级和艺术研究者,对艺术和遗产有一定兴趣和认知。

而对于Google来说,搭建 GAC意在通过不同的创意计划“来提升Google的品牌和创新能力” [2] 。 也就是说,在对全球艺术和文物进行数字化保存之外,GAC的主要作用是为Google搭建文化和科技的新桥梁,同时吸引用户通过创意的方式参与到这一过程中。 虽然不通过GAC直接获利,但这种模式既提升了Google的公众形象,加强了Google与各国公共文化事务的连结,也帮助其搭建了庞大的数据库和基于数据库的技术提升。

在过去五年中,GAC通过各种不同的艺术实验,借助包括Google vision AI、Giga pixel AI (超高像素处理) 、Google AR core、Google VR Cardboard、t-SNE数据可视化算法等技术,革新了线上观看和展览的技术与潮流,在全球范围内取得广泛影响力,同时获得对不同国家不同类型文化的推广权和选择权。

2019年GAC中国版本上线,名为观妙中国 (Wonders of China) ,与包括故宫博物院、中央美术学院美术馆在内的四十余家博物馆合作。 但事实上合作力度并不大,比如故宫只收录了19个故事和173件艺术品,相比于故宫浩瀚的藏品来说只是沧海一粟。 虽然在中国的试水不温不火,但无可否认的是, GAC已经是全球最有影响力的数字文化平台,并且不断扩张,获得艺术话语权和全球关注度。

剖析GAC:

优势与可借鉴之处

 

1、无所不在的全球数字博物馆

上线初期,GAP的功能相对简单,主要通过街景技术拍摄展厅场景、传播高清像素艺术品图片 (各博物馆挑选少量藏品让Google进行70亿像素级Giga Pixel的拍摄) ,同时整合Google map、YouTube等不同的应用程序。 随着十年的发展,GAC的功能越来越成熟多元,致力打造多重感知的沉浸体验和多元艺术内容的超媒介,一个全球超级数字典藏 (digital archive) 平台,一个博物馆的博物馆。 在数字世界中,汇聚全人类的艺术精华,并且提供无时无刻无处不在的艺术体验。

平台有极为强大的分类标签系统,按照作者、风格、时代、色彩、材质等等任意分类都可以检索出优质内容,并且平台会把历史上的艺术事件和艺术风格进行详细专业的解读,因为拥有一批非常稳定的学术和艺术爱好者受众。

GAC展示的主题不仅仅是纯粹的艺术,并且通过艺术与旅游、科技、美食、时尚等产生联动,特别是与各国官方机构联合进行区域文化和旅游推广,打造线上与线下的交互,同时也与Google map等其他程序产生联动。 而这种建构方式,也让Google有超越其他平台的内容优势和庞大的数据库,成为全人类的数字遗产 (digital heritage) 库,Google因此得到更多跨区域的的文化权力和平台权力,打造出极为庞大的数字资产。

2、文化科技融合的应用与提升

GAC成为Google进行文化与科技融合的一个试验场,持续通过技术演进对文化进行分类整合,而庞大的文化数据又帮助Google的数字技术进一步进化,特别是以下几个方面。 同时,Google把自己的文化数字化转向,变成行业标准和最佳案例。

1 / AI

主要是图形AI和强化学习AI。 比如Google vision AI,可以把大量图片迅速分为几千个种类。 Gigapixel AI通过恢复图像中的真实细节来提高放大照片的实际清晰度,这只有通过训练并暴露于数百万张测试图像中才能实现。 平台内的有些小游戏体现了图像分析和强化学习AI的结合,比如auto draw (用户手绘图像,AI会迅速匹配相似的手绘简笔图) 与quick draw (绘图答题游戏) ,就是图像分析与机器学习技术的绘图应用。

2 / AR、VR

GAC在2018年12月推出pocket galley, 这个AR虚拟美术馆是Google用自己的ARCore 以及苹果的ARKit在移动装备上所提供的AR展示技术,号称可以把大师作品放进口袋里随身携带。 ARcore是不需要在装有位置探测和动作追踪双镜头的手机上使用的,是Google对抗苹果ARkit的利器。

通过一些应用程序编程接口,比如说Maps places API,谷歌实验中也不断上线新的AR实验,在不同的场景中展开,比如说AR与绘画、AR与声音的多种实验。

而对VR的应用,主要是通过与Google VR Cardboard、Google Tilt brush和Google Daydream的结合,从软件和硬件层面推动VR技术与艺术的结合。

3 /  t-SNE数据可视化算法

Google不仅通过机器学习去分析所有图片/艺术品的视觉相似度,也运用t-SNE算法和机器学习,根据文物的关联程度进行分类,去创建可以导航的互动虚拟空间地图。 GAC通过t-SNE建立了不同视觉效果下的漫无边际的艺术地图,随便点开一张就能看到艺术品及艺术史关联。 如下图,因为数据库极度强大,数据可视化的呈现效果就较为震撼。

 

3、艺术创意与人工智能的交互

GAC在过去十年已经几乎打通了全球艺术领域,完成了数据库的建设,加下来会加大多元应用和交互体验的探索,也就是谷歌实验 (experiments with Google) 的一系列产品。 在这个过程中,Google借助这些文化数据和文化场景,更进一步提升了技术能力。

最有代表性的探索之一是加强艺术家与人工智能工程师的合作,打造artist+machine intelligence的模式 (也在YouTube上线了关于这个项目简介的详细视频) 。 Google提供尖端开源技术,组织艺术家进驻计划,由艺术家与工程师通过实验创造人工智能与艺术的不同可能,比如通过AI进行艺术创作、写hiphop歌词等等。 而且鼓励用户提交自己的实验,创新、开源是主要的要求。

x度分隔 (x degree of separation) 就是由艺术家和程序员共同打造的产品,同时也是机器学习的实验测试。 这一应用主要引用了六度分隔的理论,只需要六个人就可以连接起两个陌生人,在这个应用中,只要用户选择两张图片,算法会通过视觉相似度,从数据库中找到串联其结构关系的其他图片。 算法可以随时通过海量数据库,给两个毫无关系的艺术建立一些关联,以及分析它们在整个艺术体系中大概处在什么位置。 这种创意与技术的结合,也是一个很好的范本,指引更多不同专业的创意人才与人工智能进行多重合作。

4、游戏化的设计、体验模式

为了更好地吸引用户,GAC一直致力打造互动性与多媒体内容的结合,同时采用游戏化的设计模式。 所谓游戏化设计模式,是指为了让用户停留在游戏中而采取的不同奖励模式,如成就制、关卡制、勋章制等等。 [3] 用户使用GAC的不同功能,就可以获得不同的勋章奖励,比如使用放大镜观赏艺术作品,就可以获得“艺术侦察员”这个勋章; 使用街景功能就可以获得探索者勋章等等。

同时GAC还不断叠加各种互动小游戏和文化实验,特别是一些知识整合的小游戏,比如看图猜作者、根据两张图来比较时代前后等,通常可以吸引用户在网站上停留很长时间。 这些互动游戏也在不断尝试虚拟和现实的结合。 比如笔者经常玩一个叫做街头画廊 (street galleries ) 的游戏,可以通过360度虚拟场景转换,在全球十个城市的街头或者是大楼外部,设置自己喜欢的画作。

2017年之后逐步上线的艺术自拍 (Art selfie) 、艺术填色 (art coloring book) 、艺术拼图 (puzzle party) 等为GAC带来流量激增。 特别是艺术自拍,在社交媒体上引发风潮,成为GAC第一款为大众熟知的交互产品。 用户上传自己的自拍,平台通过人工智能从百万藏品中挑选与该用户最为相似的艺术人像,进行匹配。 现在还有宠物肖像这个产品,上传宠物照片,系统会从海量数据中寻找相似的历史画像。

打造中华数字遗产平台的价值

1、数字文化基础设施

遗产和文物是珍贵的不可再生资源,通过文化科技的助力,就是预防性地保护、拯救中华民族的集体记忆和血脉基因。 如果参考GAC,打造中华数字遗产平台,可以通过跨平台的联动效应,持续、深度参与到传统文化的再媒介化与传播中来,使其成为数字文化基础设施的一部分。
为了更好的推进文化大数据战略,深度促进文化与科技融合,以企业为代表的社会力量,可以通过自己的技术和资金优势,推动文化的公共化进程,助力文化基础设施的打造,并且服务包括政府、文化机构、学者、专业和普通观众、各个年龄层次的学生等不同受众,而不仅仅是搭建一个线上艺术浏览平台。 在这个过程中,也可以加快文化数据采集、存储、清洗、分析发掘、可视化、标准化、版权保护、安全与隐私保护等领域关键技术攻关。 同时,数字文化平台不仅能够扩展用户接受文化信息的方式,为用户提供参与性和愉悦性,因其便捷的接入方式,可以发挥其公共职能和教育智能,促进文化资源的开放共享。

2、中华文明的整合性保存

当下中国博物馆中大多仍以传统陈列为主,观众通过图片、文物展示、展览视频来接收获取信息。 没有哪个单一博物馆能够展现中国文明的精华典藏,即使是国家博物馆,也因为空间和人力的限制,无力将库存精品全部展现在观众面前。 疫情之后的客观现实催逼着各个博物馆加快数字化的脚步,但也造成一定程度的数字壁垒,没有哪个平台能够打通地域和时空的限制,将中华文明结晶和艺术精萃全景式展现在受众面前。 如果能够打通壁垒,把碎片化的数字资源整合,打造出这一中国文明的数字编年史、文化遗产库甚至文物元宇宙,对中华文明进行一种“整合性保存”,通过整体性的记忆建构与技术保存建构关于中华文明的整体视野。 在整合的同时,新技术也可以对其进行分门别类的解构,将类型化的中华元素更深入应用到不同场景和行业中。

3、模块化策略以节约成本

博物馆和文物的数字化已经成为大势所趋,但单个博物馆的开发费用都相对较高。 如果能够将技术体系模块化,复制到每个博物馆的不同项目中,做好内容与科技的嫁接,就能够建立更好的应对策略,同时降低单个博物馆的数字化成本。 类似于GAC的平台,同时有助于建立一套文物数字化的标准体系,比如如何进行文物采集、如何把三维文物转为二维图片而不丢失细节等等。 一些主要的博物馆虽然都在运用数字技术进行文物数据采集和整理,但目前成果参差不齐,也没有一个共同的平台来打通这些不同馆际的区别,促进资源的开放共享。

4、面向全球的数字化展示

疫情加速了全球的文化数字化进程,特别是在遗产展演方面。 线上展览成为GAC与博物馆合作的重要方式,博物馆参与的程度大大提高。 借由后台权限开放,各个博物馆工作人员可以在Google界面上进行文字、图片、影像等编辑操作,建立数字展览,操作简单易方便,但这个权限是有限度的,必须保持统一风格,同时Google对成品有最终审核权 [4] 。 GAC依然是相对欧美中心的,也经常被诟病对亚洲历史文化的展演不足。 疫情之后,日本也于2020年推出一个线上展览平台,叫做文化日本 (Cultural Japan) ,用户可以使用550个日本文化机构的藏品,通过IIIF (International Interoperability Framework) 架构,打造自己的线上博物馆和展览。 IIIF可以直接采用合作机构的数据库API,非常方便取用,某种程度上成为日本文化的全面和全球展示。
目前我国主要的博物馆都有自己的数字化计划,但比较分散,无法有效面对全球受众,提升中华文化的整体影响力和国家文化软实力。 如果打造综合性平台,除了进行全球传播以外,还可以将遗散在世界各地的中华文化遗产连结起来,建立一个海外文物数据库。 如果能够在连结国内资源的同时打通国际资源,既能够提升平台的全球影响力,也更便于在全球范围内推广中国文明。

多元协作共助遗产数字化

遗产和历史一样,应该被视为一个过程而不是一成不变的标本,势必随着时代的变化产生不同意义。 [5]  在数字化的时代,如何活化遗产,需要打通壁垒,开放共享,各方多元协作。 在政府支持之外,需要引入更多社会力量,通力合作,提供资金、技术、创意、宣传等方面的支持。 平台的发展需要时间、受众和数据的积累,需要庞大开发、运营团队长期投入,需要持续推动人文和技术创新,需要跨区域博物馆和艺术机构的支持,更需要用户的深度参与。
在数字时代的参与式文化结构下,越来越多的用户使用媒介技术进行内容生产。 GAC能够得到专业人士和普通用户的普遍认可,主要在于其普及性、专业性、学术性、互动性、趣味性的统一,通过技术展演,吸引用户更多的注意力,实现对用户的赋权 (empowerment) 。 在这种背景下,用户成为遗产传播的重要力量。 毕竟建立数字遗产平台的根本意义还是在于加近中华文明与普通民众的距离和关系,这样打造的平台,才代表着文化与科技融合成果的深度应用,成为中华文明整体视野的一部分,发挥让遗产活起来的价值。
 

 

参考文献:

[1] 中国政府网,2021年11月8日,《国务院办公厅关于印发“十四五”文物保护和科技创新规划的通知》,http://www.ncha.gov.cn/art/2021/11/8/art_722_171712.html

[2] Stone, L. (2018). Digitization, Innovation, and Participation : Digital Conviviality of the Google Cultural Institute . PhD thesis, Department of Journalism and Media Communication, Colorado State University. 

[3] 数位转译职人志三刀流,2020年12月5日,https://medium.com/artech-interpreter/數位轉譯系列-可惡-直接中了-遊戲化設計-的毒-1531ab83fbfd

[4] 曾一婷. (2021).博物馆参与的起点——谈故宫Google Arts and Culture线上策展实践. 博物馆学季刊, 35 (2).

[5] Harvey, D. (2001). Heritage and Heritage Presents: Temporality, Meaning and The 

Scope of Heritage Studies. International Journal of Heritage Studies, 7(4), 319–338.