Android 6.0(棉花糖):如何播放迷笛音符?

我正在创建一个生成现场乐器声音的应用程序,我计划使用Android Marshmallow(版本6.0)中的新Midi API。我已经阅读了这里的软件包概述文档 http://developer.android.com/reference/android/media/midi/package-summary.html,我知道如何生成Midi音符,但我仍然不确定:在我生成Midi数据后,我如何实际播放这些音符?

我需要合成器程序来播放Midi音符吗?如果是这样,我必须自己制作还是由Android或第三方提供?

我是Midi的新手,所以请尽可能描述你的答案。

到目前为止,我尝试过什么:我创建了一个Midi管理器对象并打开了一个输入端口

MidiManager m = (MidiManager)context.getSystemService(Context.MIDI_SERVICE); 
MidiInputPort inputPort = device.openInputPort(index);

然后,我已经向端口发送了一个测试说明关于midi消息

byte[] buffer = new byte[32];
int numBytes = 0;
int channel = 3; // MIDI channels 1-16 are encoded as 0-15.
buffer[numBytes++] = (byte)(0x90 + (channel - 1)); // note on
buffer[numBytes++] = (byte)60; // pitch is middle C
buffer[numBytes++] = (byte)127; // max velocity
int offset = 0;
// post is non-blocking
inputPort.send(buffer, offset, numBytes);

我还设置了一个类来接收 midi 笔记消息

class MyReceiver extends MidiReceiver {
    public void onSend(byte[] data, int offset,
            int count, long timestamp) throws IOException {
        // parse MIDI or whatever
    }
}
MidiOutputPort outputPort = device.openOutputPort(index);
outputPort.connect(new MyReceiver());

现在,这是我最困惑的地方。我的应用程序的用例是成为制作音乐的多合一作曲和播放工具。换句话说,我的应用需要包含或使用虚拟 midi 设备(如另一个应用的 midi 合成器的意图)。除非有人已经制作了这样的合成器,否则我必须在应用的生命周期内自己创建一个合成器。我实际上如何将收到的midi noteOn()转换为扬声器发出的声音?我特别困惑,因为还必须有一种方法来以编程方式决定音符听起来像来自哪种类型的乐器:这也是在合成器中完成的吗?

Android Marshmallow中的Midi支持是相当新的,所以我无法在线找到任何教程或示例合成器应用程序。任何见解都是值得赞赏的。


答案 1

我还没有找到任何“官方”方法来控制Java代码中的内部合成器。

可能最简单的选择是将Android midi驱动程序用于Sonivox合成器

将其作为 AAR 包获取(解压缩 *.zip),并将 *.aar 文件存储在工作区中的某个位置。路径并不重要,也不需要位于你自己的应用的文件夹结构中,但项目内的“libs”文件夹可能是一个合乎逻辑的位置。

在 Android Studio 中打开您的 Android 项目后:

文件 -> 新建 -> 新建模块 -> 导入 。JAR/.AAR 包 -> 下一步 -> 查找并选择“MidiDriver-all-release.aar”,然后根据需要更改子项目名称。-> 完成

等待Gradle完成它的魔术,然后转到“应用程序”模块的设置(您自己的应用程序项目的设置)到“依赖项”选项卡,并添加(带有绿色“+”号)MIDI驱动程序作为模块依赖项。现在,您可以访问 MIDI 驱动程序:

import org.billthefarmer.mididriver.MidiDriver;
   ...
MidiDriver midiDriver = new MidiDriver();

无需担心 NDK 和C++您可以使用以下 Java 方法:

// Not really necessary. Receives a callback when/if start() has succeeded.
midiDriver.setOnMidiStartListener(listener);
// Starts the driver.
midiDriver.start();
// Receives the driver's config info.
midiDriver.config();
// Stops the driver.
midiDriver.stop();
// Just calls write().
midiDriver.queueEvent(event);
// Sends a MIDI event to the synthesizer.
midiDriver.write(event);

用于演奏和停止音符的非常基本的“概念证明”可能是这样的:

package com.example.miditest;

import android.os.Bundle;
import android.support.v7.app.AppCompatActivity;
import android.util.Log;
import android.view.MotionEvent;
import android.view.View;
import android.widget.Button;

import org.billthefarmer.mididriver.MidiDriver;

public class MainActivity extends AppCompatActivity implements MidiDriver.OnMidiStartListener,
        View.OnTouchListener {

    private MidiDriver midiDriver;
    private byte[] event;
    private int[] config;
    private Button buttonPlayNote;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        buttonPlayNote = (Button)findViewById(R.id.buttonPlayNote);
        buttonPlayNote.setOnTouchListener(this);

        // Instantiate the driver.
        midiDriver = new MidiDriver();
        // Set the listener.
        midiDriver.setOnMidiStartListener(this);
    }

    @Override
    protected void onResume() {
        super.onResume();
        midiDriver.start();

        // Get the configuration.
        config = midiDriver.config();

        // Print out the details.
        Log.d(this.getClass().getName(), "maxVoices: " + config[0]);
        Log.d(this.getClass().getName(), "numChannels: " + config[1]);
        Log.d(this.getClass().getName(), "sampleRate: " + config[2]);
        Log.d(this.getClass().getName(), "mixBufferSize: " + config[3]);
    }

    @Override
    protected void onPause() {
        super.onPause();
        midiDriver.stop();
    }

    @Override
    public void onMidiStart() {
        Log.d(this.getClass().getName(), "onMidiStart()");
    }

    private void playNote() {

        // Construct a note ON message for the middle C at maximum velocity on channel 1:
        event = new byte[3];
        event[0] = (byte) (0x90 | 0x00);  // 0x90 = note On, 0x00 = channel 1
        event[1] = (byte) 0x3C;  // 0x3C = middle C
        event[2] = (byte) 0x7F;  // 0x7F = the maximum velocity (127)

        // Internally this just calls write() and can be considered obsoleted:
        //midiDriver.queueEvent(event);

        // Send the MIDI event to the synthesizer.
        midiDriver.write(event);

    }

    private void stopNote() {

        // Construct a note OFF message for the middle C at minimum velocity on channel 1:
        event = new byte[3];
        event[0] = (byte) (0x80 | 0x00);  // 0x80 = note Off, 0x00 = channel 1
        event[1] = (byte) 0x3C;  // 0x3C = middle C
        event[2] = (byte) 0x00;  // 0x00 = the minimum velocity (0)

        // Send the MIDI event to the synthesizer.
        midiDriver.write(event);

    }

    @Override
    public boolean onTouch(View v, MotionEvent event) {

        Log.d(this.getClass().getName(), "Motion event: " + event);

        if (v.getId() == R.id.buttonPlayNote) {
            if (event.getAction() == MotionEvent.ACTION_DOWN) {
                Log.d(this.getClass().getName(), "MotionEvent.ACTION_DOWN");
                playNote();
            }
            if (event.getAction() == MotionEvent.ACTION_UP) {
                Log.d(this.getClass().getName(), "MotionEvent.ACTION_UP");
                stopNote();
            }
        }

        return false;
    }
}

布局文件只有一个按钮,该按钮在按住时播放预定义的注释,并在释放时停止它:

<?xml version="1.0" encoding="utf-8"?>
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:tools="http://schemas.android.com/tools"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    android:paddingBottom="@dimen/activity_vertical_margin"
    android:paddingLeft="@dimen/activity_horizontal_margin"
    android:paddingRight="@dimen/activity_horizontal_margin"
    android:paddingTop="@dimen/activity_vertical_margin"
    tools:context="com.example.miditest.MainActivity"
    android:orientation="vertical">

    <Button
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:text="Play a note"
        android:id="@+id/buttonPlayNote" />
</LinearLayout>

其实就是这么简单。上面的代码很可能是触摸钢琴应用程序的起点,该应用程序具有128种可选乐器,非常不错的延迟以及许多应用程序缺乏的适当“音符关闭”功能。

至于选择乐器:您只需要将MIDI“程序更改”消息发送到您打算播放的频道,即可选择通用MIDI音效集中的128个声音之一。但这与MIDI的细节有关,而不是与库的使用有关。

同样,您可能希望抽象出MIDI的低级细节,以便您可以轻松地在特定时间以特定速度在特定通道上以特定速度播放特定音符,为此,您可能会从迄今为止制作的所有开源Java和MIDI相关应用程序和库中找到一些线索。

顺便说一句,这种方法不需要Android 6.0。目前,只有4.6%的访问Play商店的设备运行Android 6.x,因此您的应用程序不会有太多的受众。

当然,如果你想使用这个包,你可以使用库来实现一个来接收MIDI事件,并在内部合成器上播放它们。谷歌已经有一些演示代码,可以用正方形和锯波播放音符。只需将其替换为内部合成器即可。android.media.midiandroid.media.midi.MidiReceiver

其他一些选项可能是查看将FluidSynth移植到Android的状态。我想可能会有一些东西可用。

编辑:其他可能有趣的库:


答案 2

我需要合成器程序来播放Midi音符吗?如果是这样,我必须自己制作还是由Android或第三方提供?

不,幸运的是,您不需要制作自己的合成器。Android已经内置了一个:SONiVOX Embedded Audio Syntehesizer。Android在SONIVOX JETCreator的文档中指出:

JET与SONIVOX的嵌入式音频合成器(EAS)结合使用,EAS是Android的MIDI播放设备。

目前尚不清楚您是否想要实时播放,或者您是否要先创建合成,然后再在同一应用程序中播放。您还声明要播放 midi 音符,而不是文件。但是,正如您所知,Android设备上支持Midi播放。因此,播放.mid文件的方式应与使用MediaPlayer播放.wav文件的方式相同。

说实话,我没有使用midi包,也没有做过midi播放,但是如果您可以创建一个.mid文件并将其保存到磁盘,那么您应该能够使用 直接播放 它 。MediaPlayer

现在,如果您想直接播放midi音符而不是文件,那么您可以使用此mididriver软件包。使用此软件包,您应该能够将 midi 数据写入嵌入式合成器:

/**
* Writes midi data to the Sonivox synthesizer. 
* The length of the array should be the exact length 
* of the message or messages. Returns true on success, 
* false on failure.
*/

boolean write(byte buffer[])  

如果你想走得更低,你甚至可以使用AudioTrack直接播放PCM。

有关其他信息,这是我从似乎与您的麻烦相似的人那里找到的博客文章。他说:

就我个人而言,我解决了动态midi一代问题,如下所示:以编程方式生成一个midi文件,将其写入设备存储,使用该文件启动mediaplayer并让它播放。如果您只需要播放动态迷笛声音,这已经足够快了。我怀疑它对于创建用户控制的midi东西(如音序器)是否有用,但对于其他情况,它很棒。

希望我涵盖了一切。


推荐