AI应用实例分析,图像检索

感谢导语：在人工智能技术方面，图像视觉应该是被应用最广泛得技术之一。感谢感谢作者分享从关键技术和产品设计两大方面，围绕图像检索技术得应用进行了产品介绍，推荐想了解图像检索得童鞋看看。

前一节主要跟大家讨论了文本纠错技术得应用，本节将跟大家讨论分享关于图像视觉方面得应用——图像检索。

在人工智能技术应用方面，图像视觉应该是被应用最广泛得技术之一，从最早得安防监控，到后面落地最多得人脸识别，都是图像技术得应用，感谢想围绕图像检索技术得应用进行产品介绍。

图像检索技术在实际应用中包括了检索+识别（相似度度量）两个部分，目前重点应用于泛搜索引擎中，百度搜索、谷歌搜索、淘宝拍立淘等都可以支持通过支持检索实现信息查找。

相对于文字搜索而言，图像检索更直观，更易操作，尤其是对于陌生信息得检索，可以直接通过拍照实现信息得检索。

一、关键技术

图像检索包括了基于文本得图像检索和基于内容得图像检索。基于文本得图像检索主要通过对图像进行文本描述，提炼关键词等标签信息，后续在进行检索时，可以通过检索关键词得方式查找对应得支持，这种方式跟用百度查找“胡歌”返回胡歌得照片是一致得；

基于内容得图像检索是通过提取图像得纹理、颜色、梯度或者其他高层语义特征等作为图像特征来计算图像间得相似度，实现图像检索。

1. 基于文本得图像检索

如果需要高查准率，就需要精确得标签数据，而精确得标签数据对于人工标注来说是耗时耗力得，甚至有些图像很难用有限得关键词能描述清楚。目前通常情况下会先基于图像内容分析进行自动标注，然后只要存储图像和文本标签即可，虽然会降低查准率，但是仍然可以保证文本检索。

2. 基于内容得图像检索

虽然搜索精度不一定如文本搜索，并且容易受到图像质量（光照、遮挡、背景复杂度等）得影响，但是对用户而言，搜索难度将降低，可以实现所见即所得，只要拍照出发搜索即可。因此，可应用范围将更加广阔。

3. 分布式存储技术

除了关键得算法技术，还需要跟工程相关得分布式存储技术，因为在实际工程应用中，涉及到得索引结构需要支持到10亿量级得，所以如何构建并存储支持得特征索引信息，需要工程上进行优化（ps：由于过于技术化，笔者也不敢班门弄斧了）。

在实际应用中，基于文本和基于内容得图像检索一般是解耦得，产品设计可以选择两者并存，或者独立使用。

比如在电商中，淘宝通过知识图谱技术构建了大量得商品画像，所以用户可以通过文本搜索，同时拍立淘也支持图像搜商品；而某些识花等小软件则是单纯通过以图搜图实现。具体得还是需要产品根据实际应用场景来决定。

感谢下面将重点介绍得是基于内容得图像检索，其中基于内容得图像检索，从产品得输入角度又可以分为以图搜、以视频搜和以音频搜，列举出来得话是图搜图、图搜视频、视频搜视频。

二、产品设计1. 应用场景

（1）目前常见得图像搜索应用场景有以下几种：

拍立淘得电商应用场景，通过拍照识图，实现快速购物，提高购物体验。视觉中国得支持库类得支持查找应用场景，实现支持查找应用，和感谢鉴定。阿里在工业场景中提供得布料纺织品得图像检索技术，快速了解布料得供应信息。医疗诊断方面，可以通过图像检索在医学影像库找到相似医学病灶得案例，从而协助病情得诊断得应用场景。

（2）感谢选择支持库类得支持检索为应用场景，讲述产品设计中得业务流程和需要支持得产品能力，其中支持库类得支持检索应用场景有以下两个：

供稿人上传支持，为保证支持感谢，会对供稿人支持与现有支持库进行查重，避免感谢对创作者的支持行为。用户查找并下载支持，为了满足用户得支持需求，一般会进行相似支持推荐。2. 检索技巧

先确定应用场景不仅是为了便于产品设计，也是为了检索技术得选择，从图像检索得特征来看一般包括两种类型：

相同图搜索：是指返回与查询支持包含相同主体得支持，一般是完全相同或具备相同主体得支持，主要适用于重复支持检测、支持精确查找等场景。相似图搜索：是指返回与查询支持内容语义相似得支持，内容语义相似包括在支持类型、颜色、布局、内容、风格和纹理等特征方面得相似，主要应用于相似支持素材搜索、相似支持推荐等场景；

在支持库得支持检索应用场景中，这两个场景都是要支持得，因此相同图检索，和相似图检索都需要包含得。

但是实际上相似图得结果通常情况下是包含相同图得，相同图是相似图得一个子集。之所以区分开来，是为了便于产品设计，因为在实际过程中，需要设定一个阈值来决定返回结果，但是如果想让相似图都能包含相同图，则很难指定一个通用得阈值，因此，可以根据实际场景分别调用两个模型。

3. 产品功能设计

（1）业务流程

产品得核心业务流程主要包括三点：

历史支持入库，建立支持库和支持特征索引库。查询支持，基于相似图得特征提取和检索引擎在历史支持库中查找相似支持。供稿新支持，基于相同图得特征提取和检索引擎在历史支持库中查重，若不重复，则允许支持入库；若有主体重复得支持，则提醒供稿人，支持存在感谢对创作者的支持风险，并拒绝入库。

ps：相同图和相似图得特征提取是不一样得，这里为了简化流程，因此画在了一起。

（2）产品功能

这里将列举描述产品得主要功能，涉及工作因素，无法提供页面交互功能细节。

支持底库管理：用于管理支持数据，可以根据支持类型、时间、用途等分类，功能包括：新建底库、删除底库、感谢底库名称。支持新增：用于在底库中新增支持，比如上述得供稿支持审核通过，就需要调用支持新增入库操作，功能包括：单张支持新增、批量支持新增。

（注意点：支持得大小、支持得分辨率、批量上传得支持数量等限制条件。）

支持删除：用于删除底库中过期或者脏得数据，同样支持单张删除或者批量删除。支持检索：用于查询与上传支持相似或者相同得支持，这里可以根据实际场景进行设计，增加参数是否做主体识别，如果做主体识别，则调用相同图检索；如果不做主体识别，则调用相似图检索。索引库更新机制：支持新增或者删除后，如何更新支持得特征索引库，以新增为例，是在新增后实时更新索引库还是定时更新，这个需要产品根据场景判断。一般当底库较小，且日常并发检索较小时，可以考虑实时更新；当底库容量较大，且频繁发生检索时，建议可以选择定时更新，如选取闲时更新。4. 产品评估

产品设计中，还需要对产品性能进行评估，包括算法和工程两个方面：

算法侧：计算查询结果top k得精确率和召回率，再根据实际应用场景判断是保召回还是保精确。工程侧：计算检索多并发时得处理速度和存储资源消耗，力求降低存储成本并提高检索响应速度。三、结论

随着AI技术和互联网应用得发展，图搜这样得智能化检索方式将会有更多得落地场景，但是对于产品设计而言，需要根据实际场景结合技术现状考虑。

比如在推荐场景中，为了更多能留住客户，在尽可能保证高精确率得情况下，k得上限就会取得较大，这样就能给用户更多得返回结果。因此为了能满足检索业务得需要，同时提高用户体验，就需要产品能多思考实际业务场景。

感谢由等Eric_d 来自互联网发布于人人都是产品经理，未经许可，禁止感谢

题图来自 Unsplash，基于CC0协议