前言

@张俊同学有天晚上邀我写一期文章，介绍论坛机器人的技术实现。登时诚惶诚恐，群里大神云集，我此前写的这个粗陋的机器人实在难登大雅之堂。考虑到机器人还在群里头用，就献丑来简单介绍下技术层面的实现，方便大家日后改进它 ：）

本文侧重谈论整体的设计和实现，至于细节，大家可以看源码和文档(文档在doc目录下) ：）

功能

论坛机器人目前实现了三个功能：

  1. 微信群与paperweekly论坛的双向通信(发帖/回复)
  2. paperweekly1群和2群的消息转发（当前只支持文本和表情）
    • 更多功能(图片/链接/跨群@)在todo list中
  3. 问题检索
    • 支持中文提问

以上三个功能按实现的先后排序。下边分别简述这三个功能的实现

微信群与paperweekly论坛的双向通信

先贴上实际使用的截图：

这个功能是最初的需求，@张俊同学觉得群聊消息归档不便，不利于深入讨论问题。为了更加高效的分类和管理大家讨论的精华（QA对），想做个bot，与外部论坛打通，便于归档优质的讨论内容。大家群聊的时候只要按照特定格式发言，机器人就能将信息转发到论坛中，用论坛来保存这些讨论信息

关于最初我们试图解决的问题，@张俊同学在PaperWeekly十期总结的Issue 2里写的很详细，对项目背景有兴趣的同学可以参考

最初的需求描述如下（来自@张俊）:

我觉得这个想法很有趣，决定一试。用了一个晚上实现了微信与论坛的通信机制（大半时间在熟悉Misago）。次日早起，调试完成，后来也没空去重构代码，这部分代码很丑陋（quick and dirty），欢迎有兴趣的小伙伴帮忙重构

思路与实现

微信群与paperweekly论坛双向通信问题，实际上是个消息转发问题。消息无非两种流向:

  • 来自群聊的消息发往论坛
  • 来自论坛的讨论发往微信群

消息的流向可以从这张图里看出:（这张图也描述了项目的结构和数据流）

我们先来看看从微信群发往论坛的消息。

当微信群的讨论（成员的发言）匹配预先设定的模式时，将触发机器人特定行为，诸如往论坛发帖或回答问题。（这实际是CLI风格，如果你熟悉*nix，会觉得很亲切），所以机器人并没有处理自然语言，更多的是正则匹配，哈哈这有点小尴尬，如@张俊所言

我们整天都在用机器学习，也都想通过人工智能来改变这个世界，来改变我们的生活，很多时候模型和工具都有，但缺少数据和需求，这次有了数据和需求，我们却无能为力了，感觉有一点点小讽刺

机器人士如何把消息发往论坛的呢。我hack了Misago（论坛所用的框架），使其对外提供RESTful API，允许使用http请求来做常见操作（发帖/回复之类）

以发帖为例，我们跟着消息走，看到的是这样一个流程：微信群里某些消息匹配固定模式，机器人被激活，进而携带着token往论坛发送特定http请求，消息作为请求参数。于是消息从微信群流到了论坛

接着我们来看看论坛发往微信群的消息。在论坛这块，我hack了源码里的发帖函数，使其具有webhook output功能，你很可能已经用过github的webhook output。当论坛产生帖子时，将对外发起一个web请求（output），外部系统收到请求便知道事件的发生，同时也能获取事件的细节（请求参数），如此一来这个钩子（hook）就把两个异构系统勾连起来。

webhook是我偏好的异构系统间通信的解决方案，灵活性高，耦合度低。

我将论坛的web请求发往一个消息服务（我选择kinto，至于原因我在开发文档里也有描述），而在机器人这边，会不断向消息服务轮询。这实际上是经典的发布/订阅模型（至于为何不采用redis和rabbitmq的原因我在开发文档里也有说明）。

使用发布订阅模型考虑的主要是扩展性，我手头有nlp相关的 QQ群，当时觉得paperweekly的讨论内容很棒，也许其他nlp小组也会感兴趣，使用发布订阅模型，我只要在任何group里（QQ/wechat/telegram/whatapp）放上机器人，就可以订阅paperweekly的动态，我这边做了两个具体实现，其一是在微信群中订阅消息，源码见paperweeklybot.py，其二是QQ群中订阅消息：源码见SmartQQBot

至于论坛的选型（最终选择了Misago），大家在群里讨论的结果倾向选择基于python的论坛框架。因为大家对python更为熟悉，方便维护

群消息转发

关于这个需求的背景，引述@张俊的说明（PaperWeekly十期总结）：

一个群很快就到了500人，出现了一个棘手的问题，第二个群的人如果太少，几乎没有讨论意义，所以就想用什么办法可以打通两个群，让两个群的童鞋在同一时空内进行交流

@碱馒头同学用了一个中午时间写了群消息转发机器人，我觉得很妙，功能干净利落、十分实用。后来我们觉得两个机器人可以合并成一个，本来计划由馒头兄来实现这块，后来因为我的微信机器人框架和馒头兄不同（我偏好itchat），我就自己用itchat实现了这块

这部分的实现比较简单，机器人同时在两个群里，当机器人接收到A群消息时，立马转发到B群。至于机器人如何得到群消息，就是微信机器人框架（itchat）做的事了，大家可以自行读文档

目前只转发文本和表情，下一步准备支持图片/链接分享和跨群@

问题检索

国庆去白洋淀玩，路上，@张俊同学提到一个有趣的想法：

有人提问之后，能否直接从quora或者知乎检索相应的答案

我想到之前玩过的一个叫做howdoi的项目，于是以此为原型给bot添加了问题检索的功能,源码见qa_bot.py

目前用户可以在微信群向机器人提问，它会返回stackoverflow里最佳的答案

原理很简单，howdoi的源码很短，大体思路是利用google的site特性，在指定的站点搜索问题（默认是stackoverflow），得到相关连接，然后打开连接，用pyquery提取内容，返回干净的答案给用户

从howdoi的原理我们可以看出：实际上问题搜索是利用了google强大的搜索能力，同时我们看到，这是一个易于扩展的框架，只要改变site对应的网址，理论上可以检索任何网址。最初的需求里提到的知乎和quora当然没有问题，剩下的工作只剩对答案做html清洗。惭愧的是我近来挖的坑太多，业余时间被分散在各个坑里，这个坑暂时还没填，等待小伙伴加入

因为howdoi不支持中文（用中文从stackoverflow里基本搜不出有价值的东西），后来我们添加了一个翻译层，先做翻译，然后再检索，这样一来，就可以直接在微信群里用中文向机器人提问

于是你就看到了上边一张图片里的问答

下一步

接下来除了填完上文提到的坑（todolist）

还准备先把群消息存下，诸如（groupname，username，content，time），然后pandas做些简单统计，可做的事包括：

  • 添加一些小彩蛋，诸如@机器人可以返回该用户的历史参与情况
  • 统计得出年度热心群友（举个栗子：）,莫当真)

进一步，可以用bokeh作可视化展示

当然也可以把语料开放给群成员，供大家使用nlp来做一步的分析和挖掘，诸如挖出

  • 近期焦点问题
  • 冷场话题排行版

或者用来训练一只paperweekly风格的机器人 ：）