通过 Android 上的 TCP 套接字进行音频流传输
我正在通过套接字从C服务器流式传输麦克风输入。我知道该流有效，因为它与C客户端一起使用，并且我在Android客户端上获得了正确的值。
我正在流式传输1024浮动阵列。一个浮点数为 4 个字节。所以我得到了一个每帧4096字节的传入流。我正在从这个字节中获取浮点数，我知道这个浮点数是我发送的浮点数，所以该部分应该可以工作。
现在，我想使用 AudioTrack 将该流直接传输到手机扬声器。我试图输入我直接收到的字节：只是噪音。我试图把它转换回一个字节数组，仍然一样。我试图将浮点投射成短（因为AudioTrack需要字节或短）。我本可以得到一些可能是我的麦克风输入（敲门）的东西，但非常粗糙，而且非常滞后。如果帧之间有滞后，我会理解，但我甚至无法获得一个清晰的声音。然而，我可以清楚地输出一个罪恶的声音，我在当地制作并放入那个短数组中。现在我想知道我是否在我的代码中遇到了一些问题，你们中的任何一个人都可以看到，因为我没有看到它们。
我正在做的是：我在一个字节数组中放置4个字节。我把浮子从中取出。一旦我在浮子数组中获得了一个Frame（我用一个boool控制它，不好，但它应该有效），我就把它放在我的shortarray中，让audiotrack播放它。这种双重投射可能很慢，但我这样做是因为这是我最接近实际输入的。
编辑：我通过比较浮点数来检查字节序，它们在-1和1之间具有适当的值，并且与我发送的值相同。由于我不会在转换为浮动时更改字节序，因此我不明白为什么将4096字节数组直接转发到AudioTrack也不起作用。多线程可能有问题，但我不明白它可能是什么。
编辑 2：我发现了一个小问题 - 我在1023重置了j。但缺少浮存金不应该是问题所在。除此之外，我所做的是将从套接字获取流的方法放在另一个线程中，而不是在异步任务中调用它。这使得它工作，我现在能够理解麦克风的声音。质量仍然很差 - 代码中是否有原因？另外，我得到了大约10秒的延迟。只有大约半秒钟是由WLAN引起的，所以我想知道这是否可能是代码错误。任何进一步的想法都值得赞赏。
编辑3：我玩了一下代码，并在评论中实现了一些绿色应用程序的想法。使用新的线程结构，我面临着无法获得任何声音的问题。就像一样。我不明白这怎么可能，所以我切换回去。我试图使线程更轻量级的其他事情没有任何效果。我得到了一个延迟，我得到了一个非常差的质量（我可以识别敲门声，但我无法理解声音）。我认为我的转换可能有问题，所以我把从插座收到的字节直接放在AudioTrack中 - 除了丑陋的脉冲静态噪音之外什么都没有。现在我更加困惑，因为这个确切的流仍然适用于C客户端。如果我找到解决方案，我会报告回来，但仍然欢迎任何帮助。
编辑 4我应该补充一点，我可以播放来自另一个Android应用程序的麦克风输入，在那里我直接以字节的形式发送该输入（我会排除浮点转换的东西，并将我收到的字节直接放在我的播放器代码中的audioTrack中）。
我也想到，这可能是一个问题，C服务器流式传输的所述浮动阵列来自64位机器，而手机是32位。这是否在某种程度上是一个问题，即使我只是将浮点数流式传输为4个字节？或者，我的另一个想法：我收到的字节的基础数字格式是浮点型。AudioTrack期望什么格式？即使只输入字节 - 我是否需要将浮点数转换为int并将其转换回字节或其他东西？
新代码：
public class PCMSocket {
AudioTrack audioTrack;
boolean doStop = false;
int musicLength = 4096;
byte[] music;
Socket socket;
short[] buffer = new short[4096];
float[] fmusic = new float[1024];
WriteToAudio writeThread;
ReadFromSocket readThread;
public PCMSocket()
{
}
public void start()
{
doStop = false;
readThread = new ReadFromSocket();
readThread.start();
}
public class ReadFromSocket extends Thread
{
public void run()
{
doStop=true;
InetSocketAddress address = new InetSocketAddress("xxx.xxx.xxx.x", 8000);
socket = new Socket();
int timeout = 6000;
try {
socket.connect(address, timeout);
} catch (IOException e2) {
e2.printStackTrace();
}
musicLength = 1024;
InputStream is = null;
try {
is = socket.getInputStream();
} catch (IOException e) {
e.printStackTrace();
}
BufferedInputStream bis = new BufferedInputStream(is);
DataInputStream dis = new DataInputStream(bis);
try{
int minSize =AudioTrack.getMinBufferSize( 44100, AudioFormat.CHANNEL_CONFIGURATION_STEREO, AudioFormat.ENCODING_PCM_16BIT );
audioTrack = new AudioTrack(AudioManager.STREAM_MUSIC, 44100,
AudioFormat.CHANNEL_OUT_STEREO,
AudioFormat.ENCODING_PCM_16BIT, minSize,
AudioTrack.MODE_STREAM);
audioTrack.play();
} catch (Throwable t)
{
t.printStackTrace();
doStop = true;
}
writeThread = new WriteToAudio();
readThread.start();
int i = 0;
int j=0;
try {
if(dis.available()>0)Log.d("PCMSocket", "receiving");
music = new byte[4];
while (dis.available() > 0)
{
music[i]=0;
music[i] = dis.readByte();
if(i==3)
{
int asInt = 0;
asInt = ((music[0] & 0xFF) << 0)
| ((music[1] & 0xFF) << 8)
| ((music[2] & 0xFF) << 16)
| ((music[3] & 0xFF) << 24);
float asFloat = 0;
asFloat = Float.intBitsToFloat(asInt);
fmusic[j]=asFloat;
}
i++;
j++;
if(i==4)
{
music = new byte[4];
i=0;
}
if(j==1024)
{
j=0;
if(doStop)doStop=false;
}
}
} catch (IOException e) {
e.printStackTrace();
}
try {
dis.close();
} catch (IOException e) {
e.printStackTrace();
}
}
};
public class WriteToAudio extends Thread
{
public void run()
{
while(true){
while(!doStop)
{
try{
writeSamples(fmusic);
}catch(Exception e)
{
e.printStackTrace();
}
doStop = true;
}
}
}
};
public void writeSamples(float[] samples)
{
fillBuffer( samples );
audioTrack.write( buffer, 0, samples.length );
}
private void fillBuffer( float[] samples )
{
if( buffer.length < samples.length )
buffer = new short[samples.length];
for( int i = 0; i < samples.length; i++ )
{
buffer[i] = (short)(samples[i] * Short.MAX_VALUE);
}
}
}
旧代码：
public class PCMSocket {
AudioTrack audioTrack;
WriteToAudio thread;
boolean doStop = false;
int musicLength = 4096;
byte[] music;
Socket socket;
short[] buffer = new short[4096];
float[] fmusic = new float[1024];
public PCMSocket()
{
}
public void start()
{
doStop = false;
new GetStream().executeOnExecutor(AsyncTask.THREAD_POOL_EXECUTOR);
}
private class GetStream extends AsyncTask<Void, Void, Void> {
@Override
protected Void doInBackground(Void... values) {
PCMSocket.this.getSocket();
return null;
}
@Override
protected void onPreExecute() {
}
@Override
protected void onPostExecute(Void result)
{
return;
}
@Override
protected void onProgressUpdate(Void... values) {
}
}
private void getSocket()
{
doStop=true;
InetSocketAddress address = new InetSocketAddress("xxx.xxx.xxx.x", 8000);
socket = new Socket();
int timeout = 6000;
try {
socket.connect(address, timeout);
} catch (IOException e2) {
e2.printStackTrace();
}
musicLength = 1024;
InputStream is = null;
try {
is = socket.getInputStream();
} catch (IOException e) {
e.printStackTrace();
}
BufferedInputStream bis = new BufferedInputStream(is);
DataInputStream dis = new DataInputStream(bis);
try{
int minSize =AudioTrack.getMinBufferSize( 44100, AudioFormat.CHANNEL_CONFIGURATION_STEREO, AudioFormat.ENCODING_PCM_16BIT );
audioTrack = new AudioTrack(AudioManager.STREAM_MUSIC, 44100,
AudioFormat.CHANNEL_OUT_STEREO,
AudioFormat.ENCODING_PCM_16BIT, minSize,
AudioTrack.MODE_STREAM);
audioTrack.play();
} catch (Throwable t)
{
t.printStackTrace();
doStop = true;
}
thread = new WriteToAudio();
thread.start();
int i = 0;
int j=0;
try {
if(dis.available()>0)Log.d("PCMSocket", "receiving");
music = new byte[4];
while (dis.available() > 0)
{
music[i]=0;
music[i] = dis.readByte();
if(i==3)
{
int asInt = 0;
asInt = ((music[0] & 0xFF) << 0)
| ((music[1] & 0xFF) << 8)
| ((music[2] & 0xFF) << 16)
| ((music[3] & 0xFF) << 24);
float asFloat = 0;
asFloat = Float.intBitsToFloat(asInt);
fmusic[j]=asFloat;
}
i++;
j++;
if(i==4)
{
music = new byte[4];
i=0;
}
if(j==1023)
{
j=0;
if(doStop)doStop=false;
}
}
} catch (IOException e) {
e.printStackTrace();
}
try {
dis.close();
} catch (IOException e) {
e.printStackTrace();
}
}
public class WriteToAudio extends Thread
{
public void run()
{
while(true){
while(!doStop)
{
try{
writeSamples(fmusic);
}catch(Exception e)
{
e.printStackTrace();
}
doStop = true;
}
}
}
};
public void writeSamples(float[] samples)
{
fillBuffer( samples );
audioTrack.write( buffer, 0, samples.length );
}
private void fillBuffer( float[] samples )
{
if( buffer.length < samples.length )
buffer = new short[samples.length*4];
for( int i = 0; i < samples.length; i++ )
{
buffer[i] = (short)(samples[i] * Short.MAX_VALUE);
}
}
}
