一、行业背景
随着现代医学领域的科学技术不断发展，外科手术技术也日新月异。对各种手术全程画面影像进行实时记录，用于研究、教学和病例存档，已经受到高度重视。有些具有争议的手术，也可以利用这些视频资料作为科学的判断依据。
手术后对照这些影像资料开展学术探讨，对于提高手术的成功率能够很大的帮助。并可通过网络，得到异地专家手术中的远程指导，远程控制机器人进行手术。
医院的手术水平，又可以提供手术的全部实时影像记录，使之成为提高手术技术水平的必要资料和依据。
二、需求分析
本次用户计划建设一套远程手术操作系统。通过该系统，远端医生可以准确控制本地端手术机器人进行手术。整个系统主要实现以下功能：
将手术室中的全景摄像机、术野摄像机、各类腔镜、CT机、监护仪等仪器设备的图像和信号分别采集并记录下来，并将这些医学图像、影像资料进行保留存档；
通过本系统将手术中遇到的复杂问题及时与远端专家互动沟通，准确判断术中变化，确定最优解决方案。
远端专家通过本系统传输的仪器数据以及图片，快速分析病情，并通过远程控制C臂、显微镜、OTC等为病人拍片子、定点放疗、手术等。
三、解决方案
.1系统设计
.1.1信号采集
主要负责采集医疗活动中需要传输、记录的各种信号并编码压缩后通过IP网络发送给录播服务器。
信号采集部分可采集的信号可分为三类：
——场景信号：全景摄像机、术野摄像机等视频信号。
——医疗影像设备信号：超声成像、X成像、内镜、手术显微镜、核磁共振成像、核医学成像、红外成像等。
——监护仪信号：麻醉机、监护仪等。
具体实施：每间手术室需要根据实际采集信号数量部署高清解码器，并且将解码器分别和即可完成对每间手术室所有全景摄像机、术野摄像机、各类腔镜、CT设备、C臂设备、手术显微镜、监护仪器等设备图像信号的采集和编码。
.1.2信号存储转发
主要负责将通过网络接收到的前端各种编码器发送的码流录制存储于录播服务器内或通过网络进行远端存储。录制的同时通过网络发送双向直播视频流到接收客户端，同时还支持向接收客户端提供点播和对话、远程操控服务。
具体实施：由于手术间需要视频交流、视频录制。考虑到节约系统成本、实现资源利用最大化、在后端需要部署录播服务器。录播服务器可以将手术室中的所有视频画面分别录制存储下来。
.1.信号接收
主要负责从网络接受前端录播服务器发送的视频流解码后输出给各中显示设备。为了满足用户不同的收看需求我们将为用户提供的显示方式有，PC、平板电脑、智能手机等。播放设备可以直接连接液晶电视、大屏投屏、投影仪等显示设备。通过遥控器、鼠标、屏幕面板即可操控。非常适合会议室、示教室等使用。
PC、平板电脑、智能手机客户端无需安装任何插件即可通过网络或者无线wifi用浏览器接受手术视频直播、点播、只要客户端能使用Inter网络访问远程手术服务器就可以接收手术直播、点播。
具体实施：在示教室或者需要看直播的术室配置播放器，与现场的设备连接上，音频和音响系统对接并连接上服务器，确保网络通畅。在整个观看过程中全景摄像机、术野摄像机、各种腔镜、C臂机、CT机、监护仪等设备的画面和数据画面统一展示也可局部放大进行单独远看。
.1.4远程控制
操作人员通过发出命令短消息，手术室值守的模块接收到命令后发送给主机(单片机)，主机通过对命令的处理，把命令通过红外传输到相应的分机(单片机)上，分机对命令处理后，启动相应设备，完成操作人员给出的命令并向主机回复应答，主机收到应答后，通过模块发出回复短消息，报告用户完成命令。
若在规定的时间内(这里定时60s)主机没有接收到分机的回复信息，即把该操作认为无效，回复操作无效短消息给操作端，要求操作人员重新发出命令。若收到的短信息有误，主机便立刻回复该操作无效，请求操作人员重新发出命令。
.2主功能概述
.2.1视频采集
网络摄影机是视频采集的主要设备，其主要部件CCD和CMOS，随着技术的发展，CMOS传感器的性能正在得到快速的提升，CMOS传感响应速度要比CCD传感器的速度要快很多。
因此更适合更适应高清监控的大数量特点，因此本系统中的网络摄像机采用CMOS传感器来采集工作，多视频流编码器的芯片是用来处理视频数据的核心部件，多视频流处理的核心是由专门的编码解码功能的DSP和ASIC组成。
.2.2音频采集
话筒是网络摄像机采集音频的主要设备，音频服务器的芯片是用来处理音频数据的核心部件，音频服务器核心是由专门的编码解码功能的DSP和ASIC组成。
.2.视频编码
由视频采集模块采集到视频数据被传送到编码模块对其进行压缩编码。常用的两种编码方式为H.编码方式和MPEG-4编码方式。H.采用帧间和帧内预测的混合编码方式，但是多了一个环内滤波功能，提高了图像质量。在本系统中，视频部分将采用H.的编码方式。
.2.4音频编码
由音频采集模块所采集到的音频数据被传送到音频压缩编码模块，MP作为目前最为普及的音频压缩格式，其应用场合十分广泛，能够广泛应用到语音通讯、语音录制等环境中，故本系统音频部分将使用MP编码方式。
.2.5多视频流模块
多视频流系统将采用双视频流编码以及双双视频流的网络传输，其将采集到的视频数据通过两路编码器通过两路进行编码。一路是质量较低采用实时传输协议的实时流，另一路是质量较高不采用实时传输协议的高质量流。
双视频流编码以及双视频流的网络传输的另一种应用是将采集到的视频数据通过两路编码器进行两路编码一路是质量较低的视频流，另一路是质量较高的视频流，在传输时，系统会根据具体的网络带宽有选择的发送视频流，当网络环境好时发送高质量视频流，当网络环境差时发送质量低的视频流。
.2.6双向语音通讯模块
本系统具备了双向语音通讯功能，其采用多线程技术使得摄像机两端能用过语音设备进行实时的语音交流、通讯。
.2.7网络功能
网络模块描述了音频视频数据通过网络传输功能，将编码压缩后的音频视频数据经过打包，添加头文件后进行网络传输，采用实时传输协议RTP协议对打包的数据进行实时的网络传输以实现实时观察，实时通讯等功能。
.2.8存储功能
采用非实时传输的方式将双路视频流编码中的高质量视频流通过网络传输到客户端，并在客户端设备中分配存储空间创建视频文件，将接受的视频流保存到客户端新建的视频文件中。
.2.9媒体流加密
SRTP（SecureReal-timeTransportProtocol，安全RTP协议）通过对RTP/RTCP报文的有效负载进行加密，实现对RTP/RTCP报文的加密、认证以及报文重传保护。
.传输技术
本系统需要完成音频采集编码；视频采集，多视频流编码，远程控制等功能；而为了实现视频信号良好的实时传输，以及语音双向通讯功能，我们要用到实时传输协议，RTP协议，实时传输控制协议，RTCP协议以及实时流媒体协议，RTSP协议。在本系统对音频数据处理过程中，我们必须了解其中的视频编码技术，同时为了实现网络实时通讯功能，双向视频语音通讯技术也是本系统核心技术之一。
..1影响实时传输因素
在网络电话，视频会议等应用领域，为了满足应用的需要和使用着的需求，我们要保证视频数据的流畅性和双向语音通讯的服务质量，而影响视频流畅性以及语音通讯质量的因素主要来源与网络层的延时，抖动等，下面详细介绍网络层影响传输的几个因素。
——处理延时：在网络中转发帧的设备会造成延时，在网络中，处理延时会造成一定的影响，这种影响在分组网络环境中尤为重要，数字信号处理器每10ms产生一个语音样本，两个语音样本被放在一个包中，每个包的延时是20ms。
——队列延时：分组还有其他原因的延时，其中的两个是将分组移动到输出队列的所必须时间和序列化延时。当一个包因为输出接口阻塞而停止在队列中而造成的延时，称为队列延时，其实在某段时间内发送的包超过了接口的处理能力，在进行双向语音视频通讯中，由于要同时处理和发送音视频数据，因此会产生队列延时。
——抖动：是指包到达时间不规律，是分组网络的一个问题，在分组语音环境下，发送者希望语音包以稳定的间隔到达，但是这些包在网络上传输时可能不会以同样的时间间隔到达接受站点，分组期望和实际达到的偏差就是抖动。
由于实时传输协议RTP协议提供具有实时特征的，端到端的数据传输业务，并且在RTP报头中包含装在数据的标识符，序列号，时间戳等信息，因此为了解决以上影响实时传输的问题，尤其是双向语音通讯的抖动问题，本系统采用实时传输协议RTP协议以及和RTP协议配套使用的实时传输控制协议RTCP协议来进行视频流以及语音数据的实时传输，用以保证视频流的流畅以及语音通信的顺利进行。
前向纠错简称FEC，英文全称ForwardErrorCorrection，是通过提前采取措施来对抗网络损伤。丢包重传主要针对丢包的情况下，有针对性地对丢失的数据包进行高效率的重传。准确来说，它们的直接目的不是为了降低延迟，而是为了对抗网络损伤。在不可预测的网络环境中，能很好地处理网络抖动带来的负面影响，间接也会降低了延迟，同时保证了稳定性和流畅性。
..2实时流媒体协议RTSP
实时流媒体协议RTSP是TCP/IP协议中的一个应用层协议。该协议定义了应用程序如何有效的通过IP网络传送多媒体数据。RTSP协议是类似于HTTP协议的流程协议，他们都是用纯文本来发送信息，而且RTSP协议的语法也类似HTTP语法协议，和HTTP协议相比较RTSP协议所不同的地方是，RTSP协议是由状态的协议，而HTTP是无状态的协议。
RTSP协议的默认端口为，默认承载协议是TCP。RTSP协议中只是定义了对流媒体的控制，并未提供对实时音视频数据流的传输功能，因为他需要和实时传输协议RTP，实时传输控制协议RTCP配合使用，完成音频数据的网络传输。
RTSP特性：
——流控分离：从控制逻辑上来说RTSP和FTP相似，控制流和数据流是完全分开的。
——可拓展性：因为RTSP协议是基于文本的协议所以其具有较强的可拓展性。
——安全：RTSP使用安全机制。
.4编码技术
在本系统中，压缩编码是非常重要的一个环节，以52*像素的视频为例，采用4：2：0的格式，单帧画面数量为1.2Mbit，采用4：4：4的格式，单帧画面数据量为2.4Mbit，对于25帧/s的码流，即使采用4：2：0的格式，码流可以达到0Mbps，这是网络环境根本无法支撑的，因此视频压缩是必须的，并且我们可以根据不同的环境、不同的场合对食品质量的不同要求来采用不同的编码标准以便合理的利用宽带和保证视频传输的实时性。
.4.1多视频流编码
目前对视频交流监控系统主要由两方面的要求：一是实时性的的需求，以便观察实时场景，用以及时交流。另一个是高质量的需求，以便在后期进行细致研究。在网络和宽带的限制之下很难满足上述两个方面的需求，因此我们系统同使用多视频流编码来解决这个问题。
多视频流编码是对统一视频源进行双路编码产生实时的视频流以及高质量的视频流，其中实时流视频用作实时观察，对传输的实时性要求较高，而对图像的质量要求相对要低一些，实时流视频要求在编码之后立即传输到客户端；而高质量的视频流用作后期的调查，对图像的质量要求较高，而对传输的实时性要求低一些，只需在特殊的事件发生之后的一段时间内传送给主机端即可。
另一种多视频流编码的应用实在编码模块采用双路编码，编码产生双路视频流，一路是质量较好的视频流，另一路是质量较差的视频流，再根据网络环境，在网络环境好的时候实时的传输质量好的视频流，在网络环境较差的时候实时传输质量较差的视频流，合理有效的利用宽带。
.4.2双向语音通讯
本系统考虑在某些场合和一些特定的环境中，仅仅采集实时的视频流和音频流是不够的，在这些场合中，我们还需要系统在两端能够相互狗沟通、交流，比如通过摄像机观察手术时，专家可以观察到手术的动向，听到医生的交流，但是有话要说需要沟通指导的时候，就需要观察者发出声音能够让手术室内的医生听到等等。在很多场合我们也需要双方都可以听见声音。这就需要双向语音通讯技术了
双向语音通讯技术就是作为主机的一端同时作为客户，作为客户的一端同时作为主机端，两端通过多线程技术在发送信号的同时监听对方传输过来的信号，用以做到两端实时通讯交流。如图所示。
双向语音通信的核心是多线程技术的应用，利用多线程技术，在主机和客户机两端分别建立监视和呼叫线程，在两端连接成功之后又利用多线程主机和客户机两端分别建立发送语音数据流程和接收语音数据流程。
.5软件设计
.5.1软件结构
操作系统：采用Linux操作系统，具备开源、高效、内核可裁剪、可移植、网络适应性强等优点。DSP库：平台中具备音频采集函数库以及H.、MPEG-4、MPEG-2、MJPEG和VC1/WMV9编码解码库，为系统开发提供便利。驱动和应用：本系统平台为上层软件操作底层硬件提供统一接口，主要提供以太网控制器，音频输入、输出设备等，其应用层同时支持使用者根据需要自行开发编写应用程序，用为多视频流语音双向通信系统提供多解决方案。
多视频流语音双向通讯远程手术系统采用了标准的多线程技术，一共有9个独立的线程。
主线程/控制线程：主线程完成初始化工作、创建其他线程，并为其他线程传递命令行相应的参数，最后转化为控制参数。保护线程：保护所有线程进行通讯。仪器数据采集线程：采集手术设备（C臂、CT设备、监护仪、各腔镜、超声成像等）数据用以及时展示。视频采集线程：采集摄像头捕获的数据，传输给视频编码线程。音频采集线程：采集语音输入设备获取的数据，传输给音频编码线程。视频编码线程：对视频采集线程捕获的视频数据进行H.视频流的双路编码处理。音频编码线程：接收来自服务器语音接受设备传输来的语音信号，传输给音频解码线程，音频解码线程经过修改系统中的Audio等参数，对语音信号进行编码处理。网络发送线程：将编码后的压缩数据通过网络协议发送。双向语音通信线程：分为单向语音通信线程和多线程双路单向语音通讯线程。
①单向语音通信线程：音频输入经过音频编码后的数据打包后通过网络发送线程输出：其操作采用Linux下的Socket网络连接，首先利用Socket网络编程中的所提供的函数对音频输入端和接收端进行网络连接，利用修改后的Live库函数对音频信号进行基于RTP以及UDP的网络传输。
②多线程技术：由于要实现双向语音通信功能，因此要在单向通信的线程基础上进行拓展，由于单向语音通信只是发送语音，为了实现双向语音通信，还要在接收端搭建语音采集设备并建立语音编码线程并将语音数据打包通过网络发送线程输出，而在源发送端建立语音解码线程，将接受到的来源于网络的语音数据经过解码传送到扬声器进行播放。又由于双向语音通信的语音接受和语音发送是实时的。因此利用多线程技术在两端建立两个Socket网络连接，做到双方同时发送和接收实时语音数据。
系统中个线程之间的通讯采用FIFO机制，音视频编码线程以及双向语音通信线程分别通过调用fifo_get()、fifo_put()函数来完成和音视频采集线程、网络发送线程之间的数据交互，最后网络发送线程从视频编码线程获取缓存，通过实时传输网络协议将视频数据经有线网络或者拓展的无线网络模块发送。
.5.2视频编码设计
本系统的视频编码模块包括视频采集线程和视频压缩编码线程，以及双视频流的双路编码传输，其核心任务由TMS20DM65中的ARM处理器协调完成，其中，H.高清编解码处理器实现输入视频信号的模块转换以及压缩编码，利用Resize模块调节输出视频格式（分辨率）以及双路视频编码模块对视频数据进行多视频流编码。如图示：
视频采集线程与编码线程之间的数据交互通过管道FIFO实现。采用一对阻塞调用函数fifi_get()、fifo_put()将采集端的缓存数据输出到编码端，编码端返回缓存到采集端。视频编码过中使用内存储空间是由CMCE模块分配的连续存储单元，同时还采用了DMA对数据进行操作，采用连续的存储空间和DMA操作视频数据可大大缩短对数据的读写时间，提高了编码效率，增强了实时性能。视频采集线程完成的视频采集及处理主要是DM65视频处理子系统中视频处理前端实现，其主要操作如下：
创建一个视频捕捉实例。获取/释放缓存。采集视频。关闭视频采集，关闭视频输入设备。
DM65处理器中的视频编解码是通过调用编解码引擎（CodecEngine）来实现。利用编解码引擎（CodecEngine），可以实现基于达芬奇平台的视频编解码，通过这种机制，ARM端的程序就可以通过CodecEngine提供的VISA
.5.多视频流设计
多视频流结构一
实时流：实时流对视频传输的实时性要求高；相对地实时流对视频的图像质量要求相对较低。实时流必须在编码后立即传输至客户端。高质流：高质流视频对于图像质量要求较高；相对的，高质流对视频传输的实时性要求较低，只需在事件发生之后一段时间内传输完毕即可。
该双流传输方法的系统结构如图所示，包括视频发送端，网络信道和视频接收端。
发送端包括：实时流编码器，高质流编码器，实时传输模块，非实时传输模块。实时流编码器和高质流编码器用于将采集到的视频数据通过编码变为实时流视频码流和高质量视频码流；实时传输模块用于实时流视频流的封装传输。非实时传输模块用于高质流视频码流的封装传输。
接收端包括：实时流编码器，存储模块；接收到的实时流码流经由实时流解码器解码，最终子终端设备所提供的网络播放器上实时播放，供操作人员实时观察；存储模块则是在操作人员的终端设备申请一块空间，建立H.存储文件，将接收到的高质量视频流保存在操作人员所建立的H.文件中以便于后期观察。如图：
多视频流结构二
TSM20DM65支持H.HP0fpspencode
1-6mbps,H.HP15fpsQVGAencode-kbps,MJPEG15fpsVGAencodeQuality=-95三种方式同时编码传输，即当视频采集模块采集到视频数据之后，DM65核心芯片三种方式对视频进行编码，并在实时传输的过程中，根据当时环境的网络宽带，传输最合适的编码格式的视频码流。在网络宽带好的情况下传输H.HP0fpsPencode
1-6mpbs视频流，在网络宽带比较差的环境下传输H.HP15fpsQVGAencode-kpbs视频流。为了实现对网络状况的监控，我们需要在接收端周期性的发送网络状况RTCP反馈控制包到服务器端，以便服务器端能够根据实施的网络状况选择所发送的视频流种类，这种多视频流编码传输方式提高了对网络宽带资源的有效利用，降低了网络丢包率，为操作者提供了更好的流媒体服务质量。如图：
.5.4音频编码设计
本系统音频编码模块包括音频捕捉线程和音频压缩编码线程，音频采集线程与编码线程之间的数据交互通过管道实现。采用一对阻塞调用函数fifo_get()和fifo_put()将采集端的缓存数据输出到编码端，编码端返回缓存到采集端。
编码后的数据可以通过网络发送线程通过实时传输协议实时地发送媒体接受端，同时通过fifo管道接收来自对方的语音数据。
音频执行流成为：
打开编码引擎。设定编码参数。创建音频编码器。分配存储空间。设置用户采样率。创建声音设备。
.5.5双向通信设计
系统为了实现主机和客户端的交流，采用了双向语音通信模块，双向语音通信，即发送端不仅仅有语音信号的发送功能，还具备语音信号的接收功能，而接收端不仅仅有语音信号的接受功能同时还具备语音信号的发送功能。
在此模块中，采用多线程编程技术来解决客户端和接收端同时发送和接收语音信号的问题，使用pthread_create()函数在服务器端建立监听线程，并且使用pthreade_create()函数在客户机建立连接服务器线程以及发送线程，其中服务器端时刻保持对语音信号的监听，当有语音信号来时服务器对语音信号编码，并建立与客户机的socket网络连接，将编码好的语音数据利用RTP协议通过网络进行实时传输到客户机端，客户机端通过接收线程对接收到的语音数据进行解码并在设备上播放，而在客户机端，同样集客户机端语音数据，将其通过网络实时传输到服务器端，服务器端的接收线程在传输过来的语音数据解码后通过内置扬声器进行播放。
.5.6网络模块设计
系统在网络传输模块中主要功能是将编码后的视频数据通过实时传输协议RTP协议，以及UDP协议等，利用有线网络或者DM65扩展后所支持的WIFI无线网络信号完成数据传输。其中，客户端个服务器的交互过程如图所示。
在网络环境不好的情况下双路编码产生的实时流模块采用实时传输协议RTP协议传输实时视频流，双路编码产生的高质量通过安全可靠TCP进行高质量的视频数据传输。在网络环境优异的情况下，网络传输模块将直接采用实时传输协议RTP协议来传输双路编码产生的高质量流。
本文系统中，音频编码标准将采用先进的MP音频编码标准，而视频编码标准采用先进的H.编码标准，将大大提高编码效率，节省带宽并保证音频质量和视频清晰度，在实时流传输中把H.实时视频流数据和MP音频数据作为实时传输协议RTP的负载，封装数据后交由IP层打包，在高质量流传输中把H.高质量流视频数据和MP音频数据作为传输协议的负载，封装数据后交由IP层打包。
.5.7加密设计
采用SRTP加密媒体流，首先需要协商加密信息，目前仅支持在SDP（SessionDescriptionProtocol，会话描述协议）中通过crypto头域进行加密协商。发起方将本端支持的加密属性信息发送给接收方进行协商，协商成功后，接收方返回相应的加密属性信息。会话建立后，双方各自使用自己的密钥加密RTP/RTCP报文，使用对端的密钥解密对方发送的RTP/RTCP报文。SDP协商主要包括以下参数信息：
使用SRTP协议加密RTP/RTCP报文时，如果使能加密引擎，则使用加密引擎进行报文加密和认证处理，若未使能加密引擎，则使用CPU进行报文加密和认证处理。
组合使用TLS可以保护通话中的控制信令，防止用户信息被窃取。SRTP协议可以对语音媒体流进行加密和认证等保护措施。两者可以单独使用，也可以同时使用，如下四种组合方式：
四、系统性能设计
1、音视频技术参数：
视频：P，0-60FPS，5路视频同时传输，带宽50MB。
时延：=00ms。
2、控制指令传输：传输延迟ms。
、多种医疗器械图像兼容，支持各种品牌，不同视频接口的医疗器械（如监护仪、C臂、显微镜、OCT等）视频信号的同时接入。
4、网络适应性和抗丢包能力；在网络丢包严重的情况下，自动感知丢包延迟并实现纠错重传。在网络丢包严重的情况下，可开启FEC专有技术，20%以内丢包对系统没有影响，25%丢包会议仍可正常进行。
5、P全高清动态双流采用H.HP编码解码技术，主流辅流双路P60fps动态图像技术，会诊室、手术室全景（主流）以及患者医疗数据/手术细节（辅流）高清的传输。
6.医疗数据安全视频会议系统在H.2组网时，支持H.25信令加密与AES媒体流加密技术；在SIP组网时，支持TLS信令加密和SRTP媒体流加密技术，保证医疗信息的安全性。
五、运行环境设计
服务器端环境：大数据存储分析、流媒体编码解码运行在以Linux为内核的发行操作系统上。
客户端运行环境：兼容主流浏览器（IE,Opera,Chrome,Firefox,Safari等）和常用办公操作系统（win7，win10，安卓等操作系统）。
#智慧医疗#
联系电话：