短视频驱动的城市意象深度学习感知方法

参赛院校：深圳大学

指导老师：涂伟

队员姓名：陈夏娜、余俊娴、朱颖颖、吴若楠

论文背景

城市意象是人们感受到的城市表达，也是人们对城市的直接或间接的经验性的空间认识。近年来，抖音、快手等短视频平台快速崛起，短视频正在成为一种新的数据源，能直观地反映人对于城市环境的感知意象。如何应用新数据、新视角大范围地认知与解析城市意象，已经成为城市研究热点之一。本文为短视频风靡等新型数据环境下的城市意象研究提供新思路，为城市形象推广提供新方法。

本研究利用短视频，提出融合深度学习和空间分析的城市意象认知方法，如图1示通过深度神经网络对短视频进行像素级语义分割与识别，定量化解构城市空间的意象组成，并进行聚类分析，分别提取并总结不同尺度下的城市意象特征。利用粤港澳大湾区的抖音短视频进行实验。实验结果表明融合短视频和深度学习模型能够有效揭示城市空间意象。

图 1 融合短视频和深度学习的城市空间意象解构流程

研究方法

本文提出融合短视频和深度学习，智能解构城市空间意象的研究方法。具体地，以粤港澳大湾区内“9+2”个城市为研究区域（如图2示），利用Segformer进行短视频语义分割，解译短视频中城市物质环境组成(包括古建筑、现代建筑、交通、天空、水、植被和其他共7类)，生成城市空间视觉描述数据，利用层次聚类法和K-means聚类法来解构城市空间意象。基于SuperMap平台进行数据管理，对地标意象作空间分布可视化与核密度分析。

图 2 研究区域

  对各城市所有影像数据取平均值并计算标准差得到城市级空间语义数据表，对各地标的所有影像数据取平均值得到地标级空间语义数据表，具体公式如下:

针对城市级的短视频，为比较城市意象的变化幅度，计算各类语义的变异系数，度量两个或多个观测值样本的变异程度，表达式如下：

模型验证

    表1给出各空间语义的评价指标PA和IoU。除了其他类，预测类别正确的像素数占总像素数的比例（PA）均在0.5以上，最高可达0.92。表2 给出了总体的IoU、Acc和Kappa系数。mIoU为0.56，说明城市图像分割结果与原始图像真值的重合程度超过了50%。语义分割的像素准确率（Acc）则达到了78%，总体Kappa系数为0.72。因此，深度学习语义分割模型性能良好，能够满足后续城市级空间意象和地标空间意象分析的需要。

对粤港澳大湾区中各个城市的全部场景图片识别结果进行描述性分析，从整体上判别各城市场景的意象相似性与差异。分别以城市级（如图3）和地标级（如图4）为单元计算其城市意象的均值，以描述不同尺度下的主导城市意象。利用城市短视频，计算各城市意象的变异系数（如图5），以比较不同城市内城市意象的波动程度。

图 3 粤港澳大湾区城市级城市意象占比

图 4 粤港澳大湾区部分地标城市意象占比

图 5 粤港澳大湾区城市级城市意象变异系数

研究结果

将粤港澳大湾区内11个城市分为四类，分别是绿水之滨、人文之都、现代绿城和天空之城。

图 6 粤港澳大湾区城市级城市意象分析

将大湾区地标级城市意象分为五类，分别是天光潋滟、绿意古建、钢铁匠心、道路纵横、城市绿肺。图7则展示了粤港澳大湾区地标级城市意象视觉感受度。

图 7 粤港澳大湾区地表级城市意象视觉感受度

在超图SuperMap iDesktopX 11i(2022)软件自带的中国地图上作空间分布可视化，制图得到图8，并使用SuperMap的核密度分析功能，分别展示了不同类型地标级城市意象的核密度分布图,如图9示。验证了各类地标意象视觉感受度与所处的地理空间环境相生相成。

图 8 粤港澳大湾区地标级城市意象空间分布

图 9 粤港澳大湾区地标级城市意象核密度分析

指导教师点评

研究成果创新地定量化解构城市空间形象，实现了地理信息和人工智能的交叉融合，可在短视频等新型数据风靡环境下，为城市意象研究提供新思路。该研究方法思路可以扩展应用于不同尺度不同类型的城市研究中。研究成果不但能够获取地标级和城市级的空间意象，辅助进行城市定位，强化城市特性等，支撑城市做好顶层设计。

团队合影

从左到右：朱颖颖 余俊娴 吴若楠 陈夏娜