元宵节，春节后的小团圆，也是一年中第一个月圆之（zhī）夜，在这（zhè）儿祝（zhù）大（dà）家贪吃不（bú）胖，美梦不空（kōng）。

在往年的（de）元宵节（jiē），我们会走出家门赏花灯、舞龙（lóng）灯、猜灯谜，用（yòng）火（huǒ）树银花的仪式迎接我们对未（wèi）来的期望。2020年的元宵节，因（yīn）为（wéi）疫情，我们庆祝的方式或（huò）许要单薄（báo）一些，但做（zuò）一桌（zhuō）美食和父母分享还是极好的。

厨（chú）艺精湛的小（xiǎo）伙伴（bàn）完全有能力施展才华，做出（chū）如上图般的美味佳（jiā）肴。但做菜只知（zhī）道放盐的“厨师（shī）”也不要着急，上微博搜索一（yī）下（xià）卖（mài）相比较棒（bàng）的菜品（pǐn），用AI软件（jiàn）识（shí）别一（yī）下，完（wán）全能估（gū）摸出个大概（gài）的配方。在这个不同寻常的“假期”借助AI的力量，磨练一下你的厨艺吧！

下面为大（dà）家（jiā）介绍两款（kuǎn）菜（cài）谱识别软件，分别是：MIT的Pic2Recipe 的AI系统（tǒng）、Facebook的菜谱识别（bié）AI系统。在最后会介绍相（xiàng）关（guān）技术原理，在家尚未返工返（fǎn）学的读者也（yě）可以（yǐ）试着（zhe）编程实现。

MIT先（xiān）行，Facebook垫后

MIT的这一（yī）款名为（wéi）Pic2Recipe识别软件，开发于2017年，是卡塔尔计算研（yán）究（jiū）所（suǒ）（QCRI，MIT最（zuì）大的实验室（shì））和加泰罗尼亚（yà）理工（gōng）大（dà）学的联合研究的产品，基于一（yī）个名为Food-101的（de）数据集，并在2014年瑞士科学（xué）家工（gōng）作的基础上进行了改进。另外，他们（men）还采用的了他们自（zì）己收集的Recipe1M的（de）数据库，其内容（róng）包含超过一百万张的食物图片、以及（jí）它们对应的菜谱。

具操（cāo）作步骤是：用户（hù）提交的照片被（bèi）收藏到（dào）在（zài）线食谱中，并训练机器通过分析配料清（qīng）单、烹饪说明和食品图像（xiàng），来（lái）自动（dòng）了解食物的制作方法。其中（zhōng）食谱（pǔ）从二十多个流行的烹（pēng）饪网站（zhàn）上搜集而来，并通过（guò）一条流水（shuǐ）线进行处理，从原始HTML中提取相（xiàng）关文本，下载图像的链（liàn）接，并将数据组合成（chéng）一个紧凑的JSON模式，其中每个（gè）被标记的数据具有唯一性。

Pic2Recipe动（dòng）画（huà）展示，来源：https://www.sohu.com/a/159754992_99905315

经AI科技评（píng）论测试（shì），目前这个软（ruǎn）件的网页版已经下线，不过在当年，此项研究（jiū）成果（guǒ）入选CVPR 2017，并（bìng）且相关论文和代码已经开（kāi）源。

paper：http://t.cn/R9vmeww ；Github：http://t.cn/RK1bLkv ；数（shù）据集：http://t.cn/R9vmBDN

相对（duì）于（yú）MIT的（de）人（rén）工智能系统，Facebook在（zài）2019年推出开源AI则（zé）比较“先进（jìn）”。相比（bǐ）之前的（de）检索办法，Facebook换（huàn）了一种新思路，将图像到配（pèi）方问题公（gōng）式化为条件生（shēng）成问题。即（jí）：使用预先训练图像（xiàng）编码器和成分解码器，以图像及其相应的成分列表为条件（jiàn）生成（chéng）指令序列，以此生产可能的菜谱。此系统（tǒng）是由安德里安·罗梅罗(Adrianna Romero)和其他几（jǐ）名（míng）在（zài）FAIR蒙特利尔实（shí）验室的研究人员一起开（kāi）发的。并在（zài）大规（guī）模菜谱（pǔ）数据集（jí）上（shàng）进行了评估，提高了与以（yǐ）前的成分预测方法（fǎ）基线相比的性能（néng）。总的来（lái）说能（néng）够（gòu）通过输入食物图像来提供准备（bèi）一顿饭（fàn）的途径。

另外，该研究成果（guǒ）发（fā）表（biǎo）于 CVPR 2019 大会上（shàng），并把代码开（kāi）源在了 GitHub 上。
https：//github.com/ facebookresearch / inversecooking

数据集介绍对于机（jī）器学（xué）习模型训（xùn）练，首要考（kǎo）虑的（de）是数据集，拥有好的数据集，训练（liàn）出来的模型往往（wǎng）有（yǒu）着好的（de）表（biǎo）现。在上面提到的两个AI模（mó）型中，Pic2Recipe系统（tǒng）采用的是（shì）Recipe1M的数据集 + Food-101数据（jù）集（jí）。而（ér）Facebook的AI模型则是在Recipe1M的数据集（jí）上进行评估。

其（qí）中，Food-101 数据集是包含（hán） 101 种食品类别（bié）的（de）图像数据集，主要（yào）用于图像分类，它共有 101,000 张图（tú）像，平均每个（gè）类别拥有（yǒu） 250 张测（cè）试图像和 750 张训练图像。训练图像未经过（guò）数据（jù）清洗。所有图像都已经重（chóng）新进行了（le）尺寸（cùn）缩放，最大边长达到了 512 像素。该数据集于 2014 年由斯（sī）坦福（fú）大学发布。

数（shù）据集下载地址：http://www.vision.ee.ethz.ch/datasets_extra/food-101/

Recipe1M数据集体量庞大，内（nèi）含100万（wàn）烹饪食谱和1300万张（zhāng）食物图像，其中中国菜也（yě）包含在内。值（zhí）得一提的是，这（zhè）个数据库的最主要来（lái）源（yuán）是大（dà）家在社交网络上晒出的食物图片。也就是说，你（nǐ）在（zài）微（wēi）博、朋友（yǒu）圈（quān）的“放毒”推动（dòng）了人工智能的发展；另外（wài），对（duì）食谱数（shù）据（jù）的收（shōu）集参（cān）考了（le）多（duō）个食（shí）谱网站，包括 All Recipes、Food.com，这（zhè）一全球最大（dà）的食谱和食物网站之一。

数据集（jí）下（xià）载地址：http://t.cn/R9vmBDN

图像到食谱背（bèi）后的AI技（jì）术（shù）对于 AI 来说，从图片（piàn）中推导出菜谱主要需要两方面（miàn）的知识：一方面识别（bié）图片中的食物（wù），具体（tǐ）包括食材和配料（liào）；另（lìng）一方面则是推断出食材和配料的加工（gōng）过程，是（shì）切块还（hái）是切丝，是凉（liáng）拌还是水煮等等。传统方法倾向于将这一过程简化为匹配任务，MIT 之（zhī）前的 Pic2Recipe 模型就是这样做的。具体过程是：首先判断图片中食物和菜品，然后在（zài）数据库中搜索和匹配相应的菜谱。

如果没有准确的对应菜（cài）谱，就会（huì）匹配一（yī）个最相似的。这样的方法依赖大量的（de）菜谱数据（jù），而且缺乏（fá）灵活性和多样性。一旦出现（xiàn）数据库中（zhōng）不存在或长相不（bú）同的食物（wù），其准确率就会大幅下降，难当（dāng）大任（rèn）。所以这次我们介绍一下Facebook的那篇论文所采用的深（shēn）度学习模（mó）型。具体而言（yán）Facebook 研（yán）究人（rén）员采用了一（yī）种（zhǒng）新的思路，把从图片到（dào）菜谱的过程视为一（yī）个条件生成系统，输入食（shí）物图片，输（shū）出（chū）食物名称、食材配料表和烹饪步（bù）骤三（sān）种信（xìn）息。图片和食谱（pǔ）之间更多（duō）的是推（tuī）导、分析关（guān）系，而不是匹配关系。

菜谱生成（chéng）模型的（de）工作流（liú）程

从论文中得知，这个菜谱生成模型由四（sì）个主要部分构成，分别是提取图（tú）像特征的图像（xiàng）编码（mǎ）器，分析食（shí）材列（liè）表的（de）食材解码器（qì），预测食材加工过程的食（shí）材编码器和许多个生成烹饪步骤的（de）解（jiě）码器，其中用到了注意力机制和 ResNet-50 卷（juàn）积神经网络模（mó）型等。

为了提高 AI 的表现，研究人（rén）员还（hái）对图（tú）像编码器和食（shí）材解码器进行了预训练。具（jù）体而言：给定具有相关成分的输入图（tú）像，通过指令Transformer产生指令序列R 。

其（qí）中，标题被预测为第一（yī）条（tiáo）指令，解码器依赖于图像（xiàng）和食材的输入；然（rán）后通过ResNet-50提取（qǔ）图像表（biǎo）示，并通过解码器架构获（huò）得食材嵌入以预测食材，然后将单个嵌入（rù）层（céng）映（yìng）射到固定大小的矢量中。其中指令解码器由Transformer块组成，每（měi）个Transformer块包含（hán）两个（gè）注意力层（céng），后面跟（gēn）着一个线性层。第一个注意力层对（duì）先前生成的输出应（yīng）用自注意力，而第二层（céng）关注模（mó）型调节以（yǐ）改进自（zì）注意力输出。另外，Transformer模型由多个模块组成后跟（gēn）线（xiàn）性层和softmax非线性。

Transformer模型

在成分解码中，论文中采用将食材作为（wéi）列表和集合的方（fāng）法，提出了一（yī）种新的食材预测架（jià）构，并（bìng）利用食材（cái）之间的（de）共同依（yī）赖性进行预测。

食（shí）谱逆推真（zhēn）的（de）准确么？上述两个（gè）AI系统（tǒng）准（zhǔn）确率都有待商（shāng）榷，根据之前的报道Pic2Recipe准确率只有（yǒu）65％，而且一旦涉及中国菜就宕（dàng）机。而Facebook的更加秀，可以接受和分析任何（hé）图片（piàn），但是能（néng）把月亮图片识（shí）别成“家常（cháng）煎饼”，能把iphoness手机（jī）识别成“家常冰凝胶”，至于（yú）皮卡丘，AI认为应（yīng）该改名叫“煎蛋”。。。

据相关研究（jiū）者（zhě）称，AI菜谱系统（tǒng）当前（qián）遇到（dào）的最大瓶颈其实还在（zài）于图片（piàn）本身。因为在拍摄食物（wù）图像时，食物的呈（chéng）现往往会受到拍（pāi）摄（shè）状态的影响，比如角度、远近、摆放（fàng）和灯光（guāng）等因素（sù），都（dōu）有可能（néng）造成（chéng）识别结果的不同（tóng）。
而在模（mó）型方面（miàn），如果（guǒ）算（suàn）力能够支持，集成准确率（lǜ）更高的系（xì）统完（wán）全不（bú）是问题，毕竟当前人（rén）脸识别系统已经能够达到（dào）95%的准确率。所（suǒ）以通过（guò）图像逆推菜谱在（zài）未来（lái）还有很大的（de）进（jìn）步空间，主要是数据集质（zhì）量的改（gǎi）善。好（hǎo）了，了（le）解数据集（jí）以及背后的技（jì）术原理，感（gǎn）兴（xìng）趣（qù）的（de）小伙伴自己动手实现一个识菜AI吧~

参考文献：

arxiv:https://arxiv.org/abs/1812.06164

https://ai.facebook.com/blog/inverse-cooking/https://research.fb.com/publications/inverse-cooking-recipe-generation-from-food-images/