内河客渡船信息化监管平台系统由船载终端、渡口终端、数据能力中心、客户端等部分构成。用户通过该平台实现内河客渡船的智能化、信息化监管。通过客户端模块，用户接入平台进行渡船运行管理，共享渡船运行各项数据。船载终端对渡船进行实时定位并进行船舱监控拍照，上传数据至数据能力中心，接收来自客户端的信息和指令。渡口终端对渡口、趸船上下客区域进行视频监控，对渡口风速、能见度、水位进行监测，上传数据至数据能力中心，接收来自客户端的信息和指令。数据能力中心处理船载终端和渡口终端上传的信息并反馈至客户端，同时将处理来自客户端的各项指令请求。平台系统结构见图1。

图1 平台系统结构Fig.1 Platform system architecture

该平台是依托图像识别与处理技术、大数据、人工智能深度学习技术以及物联网交互技术的面向内河渡船监管的智能信息化平台。用户通过4G/5G通信网或无线网络访问该平台。平台业务体系架构见图2。

图2 平台业务体系架构Fig.2 Platform business architecture

平台以数据能力中心为核心，围绕内河客渡船及其相关监管部门展开服务，进行业务的智能化开展。数据采集由船载终端和渡口终端安装的信息采集设备完成。采集到的渡口水文气象信息、渡口视频监控信息、渡口管理人员填报信息、船舶位置信息、船舱图像信息等，通过数据采集卡进行预处理，依托互联网技术按照统一采集接口、网关上传至信息化监管平台数据能力中心，统一存入数据库，通过TCP/IP等网络传输协议进行系统间数据的传输，实现数据在信息化平台实现端--云端之间的高效传输。由于数据是通过网络传输，为确保信息数据安全，系统对服务接口的调用作出限制，仅当请求中携带有效access-token参数时才允许调用数据接口。access-token参数具有时效性，过期失效。服务与数据库部署在内网网段，与互联网网段隔离，只有白名单中的IP才允许访问数据。

用户交互时通过网络请求数据接口，通过Nginx代理将互联网请求转发到外网服务器，由client端应用服务接受数据请求，通过OSB服务总线，将消息穿透内外网转发到server端应用服务，由server端调用各函数功能模块的代码，访问数据库获取相应的数据，通过OSB将消息传递到client端应用服务，再通过Nginx代理将数据返回给客户端。

平台超载、救生衣穿戴子系统工作原理见图3。

图3 子系统工作原理Fig.3 Operating Principle of Subsystem

（1）客渡船停靠码头上客后，船舱内图像采集设备对船舱内乘客拍照，通过4G/5G网络将照片上传至平台智能信息处理模块，依托利用深度学习模型对图片上乘客进行人形识别并计数。当识别到乘客人数超过设定值（船舶额定载客量）时，系统报警并将乘客人数识别图片及数量信息上传到平台客户端，提示船公司和海事部门进行干预。船公司和海事部门通过甚高频联系渡船驾驶人员、渡口管理人员进行处置并通过视频监控核实情况。渡船开航后，超载监测子系统上传该航次实际乘客人数信息并存储在数据库中。

（2）客渡船停靠码头上客后，船舱内图像采集设备对船舱内乘客拍照，通过4G/5G网络将照片上传至平台智能信息处理模块。利用人工智能算法模型对救生衣穿戴行为进行识别，对未穿戴救生衣的情况进行识别和预警。当识别穿戴救生衣人数与渡船实际载客人数不匹配时，系统报警并将未穿救生衣乘客数量信息及乘客救生衣穿戴识别图片传输到平台客户端，提示船公司和海事部门进行干预。船公司和海事部门通过甚高频联系渡船驾驶人员、渡口管理人员进行处置并通过视频监控核实情况。渡船开航后，救生衣穿戴监测子系统上传该航次未穿救生衣乘客人数信息并存储在数据库中。

通过视频监控技术与4G/5G通讯网络的融合，将客舱内画面实时拍摄上传至客户端并压缩存储在相应数据库中。用户通过客户端可以实时查看跟踪客渡船运行过程中客舱情况，极大提高了监管效率。监控摄像头安装见图4，视频监控效果见图5。

图4 监控摄像头Fig.4 Surveillance camera

图5 视频监控效果Fig.5 Video monitoring effect

人工智能是实现图像识别的基础，而深度学习技术是实现人工智能的重要手段，被广泛用于语音识别、语义识别、图像处理、视频分析中。内河客渡船监管中有许多文本、音频、视频数据都可以利用深度学习来进行分析。常用的深度学习技术包括CNN、RNN、LSTM等。

结合人工智能技术，实现如智能人员识别、智能物体识别、智能行为分析等，有助于解放客渡船运行监管工作中的人力，提升风险因素的识别效率。人工智能分析模块架构见图6。

图6 人工智能分析模块架构Fig.6 AI analysis module architecture

（1）乘客识别与统计。利用深度学习模型对客舱内摄像机拍摄的乘客图片进行人形识别并计数，与客渡船额定载客量进行比对，若超载则通过客户端向用户报警并统计乘客数量，反之只需统计乘客数量。同时通过乘客识别功能，对渡运过程中的所有乘客单独进行人像捕捉并保留照片，当出现某些问题需要取证或分析时，可以快速有效地追踪定位到指定人员。运用该技术不仅能够防止超载现象的发生，同时也将大大提高客渡船的监管效率。乘客识别显示见图7。

图7 乘客识别Fig.7 Passengers identify

（2）救生衣穿戴识别。客渡船运行过程中要求乘客穿戴救生衣，以提升安全系数。利用人工智能算法模型对客舱内摄像机拍摄的乘客图片进行救生衣穿戴行为识别。若乘客未穿戴救生衣则通过客户端向用户报警并记录情况。救生衣识别显示见图8。

图8 救生衣穿戴识别Fig.8 Life vest wear identification

通过船载定位器将客渡船位置信息收集上传至平台，结合互联网地图技术，将船舶位置显示在地图上。客户通过航迹显示模块可以精确定位渡船位置，防止客渡船行驶出规定的航行区域造成碰撞事故，也能够实现客渡船航迹的回放，实现远程监控，提高监管水平。航迹显示见图9。

图9 航迹显示Fig.9 Track display

将客渡船监管中的渡船资料、渡工资料、渡口气象信息、航次信息、乘客人数信息、超载信息、未穿救生衣人数信息等纷繁复杂的数据进行高度概括与分类，构造出客渡船监管数据资源组成的基本框架，利用GIS平台把整合分类并叠加的监管综合数据直观地在客户端的数据展示模块上呈现出来，使用户能够通过该模块获得清晰明确的各项渡船监管数据。