Unity Socket实现画面实时传输
一、Socket通信原理
Socket是比较常用的一种通信方式。有关介绍可以点击查看Socket通信原理
二、画面传输设计
1.逻辑设计图
2.Unity服务端
首先创建一个Unity工程，然后新建Server场景，用于接受数据，展示画面。
然后再场景中创建一个RawImage并设置为全屏。
如图：
然后创建一个脚本，命名为UnityServer，再创建一个UnityServer.cs
在Start函数中创建Socket服务器，并开启一个线程用于接受数据。
这里要注意一点，不能在接受数据线程中处理数据，需要在主线程中进行处理。
因为Unity主线程里面的资源不允许其他线程进行访问。
在Update函数中处理数据，并展示图片。
UnityServer .cs代码如下：
using System;
using System.Collections.Generic;
using System.IO;
using System.Net;
using System.Net.Sockets;
using System.Threading;
using UnityEngine;
using UnityEngine.UI;
public class UnityServer : MonoBehaviour {
Socket socket = null;
Thread thread = null;
byte[] buffer = null;
bool receState = true;
int readTimes = 0;
public RawImage rawImage;
private Queue<byte[]> datas;
void Start () {
buffer = new byte[1024 * 1024 * 10];
// 创建服务器, 以Tcp的方式
socket = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp);
socket.Connect(IPAddress.Parse("192.168.1.87"), 10002);
// 开启一个线程, 用于接受数据
thread = new Thread(new ThreadStart(Receive));
thread.Start();
datas = new Queue<byte[]>();
}
private void Receive()
{
while (thread.ThreadState == ThreadState.Running && socket.Connected)
{
// 接受数据Buffer count是数据的长度
int count = socket.Receive(buffer);
if (receState && count > 0)
{
receState = false;
BytesToImage(count, buffer);
}
}
}
MemoryStream ms = null;
public void BytesToImage(int count, byte[] bytes)
{
try
{
ms = new MemoryStream(bytes, 0, count);
datas.Enqueue(ms.ToArray()); // 将数据存储在一个队列中，在主线程中解析数据。这是一个多线程的处理。
readTimes++;
if (readTimes > 5000)
{
readTimes = 0;
GC.Collect(2); // 达到一定次数的时候，开启GC，释放内存
}
}
catch
{
}
receState = true;
}
void Update()
{
if (datas.Count > 0)
{
// 处理纹理数据，并显示
Texture2D texture2D = new Texture2D(Screen.width, Screen.height);
texture2D.LoadImage(datas.Dequeue());
rawImage.texture = texture2D;
}
}
void OnDestroy()
{
try
{
if (socket != null)
{
socket.Shutdown(SocketShutdown.Both);
}
}
catch { }
try
{
if (thread != null)
{
thread.Abort();
}
}
catch { }
datas.Clear();
}
}
然后在场景中创建一个GameObject，将脚本挂载上，并将创建的RawImage拖拽到Inspector面板上对应的位置。
如图：
3.Unity客户端
然后我们创建一个客户端工程，创建一个Client场景。
选中Main Camera，用Ctrl+D复制一个摄像机，放在Main Camera下面。
设置localPosition 和 localRotation为零。
这个相机的主要作用抓取屏幕渲染纹理。
如图：
然后再创建一个脚本，命名为UnityClient.cs脚本。在Start中开启Socket，然后开启一个线程发送数据。
将其挂载在Main Camera上面，并将渲染摄像机拖拽到相应的位置。
UnityClient.cs代码如下：
using System;
using System.Collections.Generic;
using System.Net;
using System.Net.Sockets;
using System.Threading;
using UnityEngine;
public class UnityClient : MonoBehaviour {
public Camera cam;
public int port = 10002;
RenderTexture cameraView = null;
Socket socket = null;
Thread thread = null;
bool success = true;
Dictionary<string, Client> clients = new Dictionary<string, Client>();
Vector3 old_position; // 旧位置
Quaternion old_rotation; // 旧旋转
void Start () {
cameraView = new RenderTexture(Screen.width, Screen.height, 24);
cameraView.enableRandomWrite = true;
cam.targetTexture = cameraView;
old_position = transform.position;
old_rotation = transform.rotation;
// 开启Socket
socket = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp);
socket.Bind(new IPEndPoint(IPAddress.Parse("192.168.1.87"), port));
socket.Listen(100);
// 开启一个线程发送渲染数据
thread = new Thread(new ThreadStart(OnStart));
thread.Start();
}
int isNewAdd = 0;
void OnStart()
{
Debug.Log("Socket创建成功");
while (thread.ThreadState == ThreadState.Running)
{
Socket _socket = socket.Accept();
if (clients.ContainsKey(_socket.RemoteEndPoint.ToString()))
{
try
{
clients[_socket.RemoteEndPoint.ToString()].socket.Shutdown(SocketShutdown.Both);
}
catch
{
}
clients.Remove(_socket.RemoteEndPoint.ToString());
}
Client client = new Client
{
socket = _socket
};
clients.Add(_socket.RemoteEndPoint.ToString(), client);
isNewAdd = 1;
}
}
void Update()
{
if (success && clients.Count > 0)
{
success = false;
SendTexture();
}
if (isNewAdd > 0)
{
isNewAdd = 0;
SendTexture(1);
}
}
void OnGUI()
{
GUI.DrawTexture(new Rect(10, 10, 240, 135), cameraView, ScaleMode.StretchToFill);
}
void OnApplicationQuit()
{
try
{
socket.Shutdown(SocketShutdown.Both);
}
catch { }
try
{
thread.Abort();
}
catch { }
}
Texture2D screenShot = null;
int gc_count = 0;
void SendTexture(int isInt = 0)
{
if ((!old_position.Equals(transform.position) || !old_rotation.Equals(transform.rotation)) || isInt == 1)
{
if (null == screenShot)
{
screenShot = new Texture2D(Screen.width, Screen.height, TextureFormat.RGB24, false);
}
// 读取屏幕像素进行渲染
RenderTexture.active = cameraView;
screenShot.ReadPixels(new Rect(0, 0, cameraView.width, cameraView.height), 0, 0);
RenderTexture.active = null;
byte[] bytes = screenShot.EncodeToJPG(100);
foreach (var val in clients.Values)
{
try
{
val.socket.Send(bytes);
}
catch
{
if (!val.socket.Connected)
{
clients.Remove(val.socket.RemoteEndPoint.ToString());
}
}
}
gc_count++;
if (gc_count > 5000)
{
gc_count = 0;
GC.Collect(2);
}
Debug.Log("发送数据:" + (float)bytes.Length / 1024f + "KB");
old_position = cam.transform.position;
old_rotation = cam.transform.rotation;
}
success = true;
}
void OnDestroy()
{
try
{
socket.Shutdown(SocketShutdown.Both);
}
catch { }
try
{
thread.Abort();
}
catch { }
}
}
class Client {
public Socket socket = null;
}
4.最终效果
