Touch the Wave for iPad v1.1.1

バグ修正です。曲の読み込み途中にループ再生するとフリーズしてしまう問題を修正しました。

AudioUnitプラグイン

AudioUnitのプラグインがかなり追加されてます。Macでは以前からあるもののサブセット的な感じです。

【Generator】
・ScheduledSoundPlayer
・AudioFilePlayer

【MusicDevice】
・Sampler

音を再生するものはGeneratorとMusicDeviceですね。特にSamplerはSoundFont&MIDI対応のプレイバックシンセなので、SoundFontを作ってしまえばMIDI対応も簡単にできてしまいます。「なんとかピアノ」とか「シンギングなんとか」とか、AVAudioPlayerで無理矢理つくるんじゃなくて、これ使った方が良いです。AudioFilePlayerは、これはこれでいいんですが、使い方が独特ってのもありますし、個人的にはAudioQueueのAudioUnitプラグイン版を作ってほしいなぁと思います。

【FormatConverter】
・VariSpeed
・iPodTimeOther

僕は使ってませんが、VariSpeedつかえば再生スピードの変更も簡単です。AUConverterでも良いんじゃないの？と思うかもしれませんが、VariSpeedならスピードを変えたときにプツっとならずにスムーズに変わります。ただ、すごく速くとか、すごく遅くとか出来ませんので、「Touch the Wave」でやってるようなスクラッチを実現するのは難しいです。

iPodTimeOtherというのは「Touch the Wave for iPad」でも早速使っています。iPodTimeよりもクオリティの上がったタイムストレッチです。

【Effect】
・LowPassFilter
・HiPassFilter
・BandPassFilter
・HighShelfFilter
・LowShelfFilter
・NBandEQ
・ParametricEQ
・PeakLimiter
・DynamicProcessor
・Reverb2
・Distortion

Effectは、半分くらいEQですが、結構増えました。リバーブの追加はうれしいです。

プラグインがこれだけ用意されていると、ようやくAUGraphの便利さが活用できそうです。はっきりいって今までは、RemoteIOだけ使って全部自分で作んなくちゃいけませんでしたから。

MusicPlayer

MIDIシーケンサーです。SMFが読み込めます。中にSamplerを含んだAUGraphを持っているので、入れ替えてあげれば自分で用意した音も鳴らせます。もちろんMIDIメッセージだけ再生させて利用する事も出来ます。

MIDINetworkSession

MIDINetworkSessionがシミュレータに対応してます。実機につながなくてもMacだけでMIDIの送受信ができるので、デバッグが楽になるんじゃないでしょうか。あとiOS4だとMIDINetworkSessionってMIDI使い始めたら勝手にオンになっていたと思うのですが、iOS5だとちゃんとenabledをYESにしたりとかしておかないと使えないみたいです。

Float32対応 (2011/10/23追加)

っと、大事な事を忘れてました。

iOS 5からAudioConverterがFloat32対応になっています。上記でも紹介したAudioUnitプラグインなどは、floatにしか対応していないようです。AUGraphなんかでつなぐ場合はあまり意識しなくても良いのですが、整数で用意したデータを渡すときにはAUConverterを前に挟み込む必要がありそうです。

Touch the Wave for iPad v1.1
Touch the Wave 2 v1.3

Touch the Wave for iPadの方は、iOS 5の新機能に対応させてます。リバーブとタイムストレッチです。それに合わせて、レイアウトの変更や、細かいところのバグ修正もしてます。

それと、しばらくセールやってましたが終了です。

Touch the Wave 2の方は、オーディオファイルがiCloudのバックアップに含まれてしまうから別のところに保存しておいてね、とAppleさんからメールを頂いたので対応しただけのバージョンです。とくに機能の変更はありません。

iOS 5では、今回アップデートで入れたリバーブなども含めて、Core Audio周りでかなり新機能が増えているので、近いうちにまとめたエントリを書こうかなと思っています。

新バージョンは機能も増えるので、リリースされたタイミングでアプリの値段を上げようかと思っているのですが、それまでの間85円でセールします。興味のある方は今のうちにどうぞ。たぶんセール後はガッツリあげますので。

メトロノームのクリック音を変更しました。実際にメトロノームの音を録音したものを使ってます。

まあ、もともと嫌う人が出てくるだろうなぁという音作りをしていたのもあり、リリース１年たってちらほらとそんな内容のレビューを見かけるようになったので変えてみました。あまり設定とか作りたくなかったので、完全に差し替えです。前の音には戻せません。

「BigStopWatch HD」でもそうでしたが、もう最近は何事も無く、一週間くらいでリジェクトなしでリリースされてますね〜。いいかんじです。ま、あえて冒険してないというのもありますし、なんせ、UIとかもほぼオリジナルで作ってたりしてますので、逆にそのへん緩い気がします。

まあ、アプリがどんなものかは前回のエントリを見ていただければ良いかなと思います。

今回のアプリはiPad専用にしていて処理能力に余裕があったので、UI系は全部OpenGLで描画してます。いやぁ〜念願の60フレ波形スクロールですよ！

でも、iPodライブラリから読み込んでいる間はどうしてもオーディオの処理する単位が1024フレームになってしまうので、残念ながらフレームレートが落ちたような感じになってしまうのですが、読み込み終わったら256フレームに戻せて、かなりスムーズです。スクラッチもスムーズです。

あと、波形をピンチで拡大縮小とかもやってみたりとか、レベルメーター付けてみたりとか、iPhone版では画面がちっちゃすぎてあきらめていた事を実現させていたりもしてます。

ということでアプリがリリースされて開発もおちついたので、これからしばらくは勉強モードへシフトしていこうと思っています。iOS5が出るあたりにもしかしたらその成果が生かせるかもしれません。もし成果が無くても、きっとiOSの力で何かアップデートしそうな気がします。

iPhone版の現在の「Touch the Wave 2」では２曲同時再生やってたのですが、今回のiPad版では単純に１曲だけの単体のプレーヤーとして作ってます。やっぱりステレオ２系統出せないと本格的な用途には意味がないかなぁ、と思いまして。よりプロ用途を考えての選択です。

そのかわりiPadの広い画面を生かして、EQとDelayを付けてます。

テンポ算出はあいかわらずタップテンポです。BPMの自動検出とかやってみたかったんですけど、今のところ僕の力不足で実現に至ってません。研究の成果があらわれたら今後搭載するかもしれません。

あと、ピッチを変えずにスピード変える機能は要望を頂いたりしていたのですが、これもちょっと力不足ですね。iPad自体の力不足という面もあります。実際に実装してみた訳ではないですが、自分の満足のいく音質のタイムコンプは今のiPadのパワーでは無理なんじゃないかなという気がします。たしか「djay」ってアプリでもiPad2しかタイムコンプ使えないんですよね。とりあえずMacで研究を進めておいて、いずれ搭載出来るようになればいいなぁと思っています。

CoreMIDIはiPadだけ？

iOS 4.3.3より前のOSだと、外部とMIDIデータの送受信をできるのはiPadだけだったのですが、iOS 4.3.3以降だとiPhoneでもWi-fi経由でiPadと同じく使えるようになったようです。また、iPadではMIDIインターフェースをCamera Connection Kitにつなげれば使えたのですが、最近YAMAHAなどからドックに直接つなげるタイプのMIDIインターフェースが発売されましたので、iPhoneでもそれらをつかえばMIDIの送受信を実機だけで出来るようになりました。

デバッグはWi-Fiで！

MIDIインターフェースをドックに付けた状態だと、Macとつなげる事が出来ないので非常にデバッグがめんどくさいです。なので開発中はドックにつながず、iPhone/iPad(実機)とMacをWi-Fiで接続してWi-Fi経由でMIDIを送受信するようにした方が良いと思います。MacにMIDIインターフェースをつなげるのも良いですが、何かMIDIを送受信出来るアプリケーションがあれば別にMIDIインターフェースがなくても問題ありません。むしろ、いろいろなMIDIメッセージを送信出来るMacアプリケーションを作ってデバッグに活用する方が良いんじゃないでしょうか。

以下は、Macと実機をWi-Fi経由でMIDIの送受信をする接続方法を解説します。これはアプリの開発者に関わらず、MacのシーケンスソフトなどからiOSアプリの音をならしたい、でもケーブルでごちゃごちゃしたくないというユーザーの方にも参考になると思います。ですがWi-Fi経由だと、直接MIDIインターフェースをドックにつなげた場合と違って、それなりに発音の遅れや揺れがあると思いますのでご注意ください。

Wi-Fi経由のCore MIDIの接続方法

まず、実機になにかCoreMIDI対応アプリを入れておきましょう。何も持っていなければ無料の「Midi Monitor」あたりをダウンロードしておけば良いと思います（僕の環境ではしょっちゅう落ちるアプリですが...）。もちろん、自分のアプリを開発するときにはそれを立ち上げればいいので、それで。

Macと実機を同じWi-Fiネットワークに接続してください。Wi-Fiアクセスポイントがない場所でも、MacでAd-Hocネットワークを作成して接続する方法もありますので、わからない方は適当にぐぐってください。

Macの「Audio MIDI 設定」アプリケーションを起動して、「MIDI スタジオ」というウィンドウが開いていなければ、メニューのウィンドウの「MIDI ウィンドウを開く」を選択して開いてください。

MIDIスタジオのなかにネットワークというアイコンがありますのでダブルクリックして「MIDIネットワーク設定」というウィンドウを開きます。

ウィンドウ左上の「自分のセッション」の「＋」をクリックして、ネットワークセッションを作ります。

おそらく「セッション１」という名前のセッションが出来ると思いますので、そこの左のボタンにチェックを入れます。

実機側で、CoreMIDI対応のアプリを起動してください。実機では、アプリでMIDIClientを作成する事で自動的にネットワークセッションが作成されます。ちゃんと実機側のネットワークセッションがMacで認識されていれば、ウィンドウ左真ん中の「ディレクトリ」に実機の名前が表示されています。もし、CoreMIDI対応アプリを起動しても名前が現れない場合は、一度実機を再起動してみてからアプリを起動しなおすと良いかもしれません。

実機の名前が現れたら選択して、下の「接続」ボタンをクリックしてください。接続に成功すれば、右側の「構成」のところに実機の名前が表示されているはずです。

MacのMIDIアプリケーションからMIDIを送受信する場合は、この時点でMacアプリケーションのMIDIインやアウトでネットワークセッションを選択出来るようになっていると思いますので、Audio MIDI 設定での設定は以上です。

アプリケーションを使わずMIDIインターフェースと実機をつなげたい場合は、ウィンドウ右下のライブルーティングを使います。実機へMIDIメッセージを送りたいMIDIインターフェース（MIDI IN）を上のポップアップボタンで選択してください。逆に実機から送りたいMIDIインターフェース（MIDI OUT）は下のポップアップボタンで選択してください。（手元にUSB接続のMIDIキーボードしかなかったので、下のスクリーンショットではIN側だけ選択した状態です。）

あとは実機アプリ側の設定ですが、MIDI INやOUTが選択出来るアプリであれば、「Network Session 1」というのがあるはずですので選択してください。そのような設定がないものはつながるものは全部つなげてしまう仕様になっていると思いますので、特に設定する必要はないと思います。

と、今回はこの辺で。

変更点はカウントダウンで0秒を通過したときにサウンドを鳴らすようにしたことだけです。

他にもいろいろな操作に音を付ける事は試してみたのですが、結局うるさかったのでやめました。とりあえずはカウントダウンにだけ付けています。

一番大きな変更点は、LAP/SPLITをリストで表示するところです。iPadの大画面なら、やっぱりリスト表示で見れたほうがいいなぁと。で、そのLAP/SPLITリストが履歴で残って後から見れます。iTunesのファイル共有機能を使えばCSVファイルが抜き出せます。

そのかわり画面全体がスタート・ストップボタンではなくなり、機能ごとに画面が区分けされたボタンになっています。あと設定は全く無くしまして、カウントダウンの秒数は時間表示部分をドラッグして変更出来ます。

基本的には単純にiPad版を作ろうと思って作っていたのですが、なんとなくiPhone版で同じ機能を使えるようにしておきたいなぁと思いまして、Universalになっています。iPhone版は小さい画面に詰め込んだような感じになっていますので、スクリーンショットを見てイマイチだなぁと思う方は、無料版のBigStopWatchを引き続きお使いください。機能的な違いはラップの履歴が残るだけですので。

ちょっと開発者的な話になりますが、今回のHD版もフルOpenGLです。ラップリストのテーブルビューもどきも自分で作ってます。いわゆる車輪の再発明ってやつですね！

といっても、ただ同じものという訳ではなく、テーブルの一番下まで移動するボタンをフッター部分に付けてあります。いつもiPhone使ってて一番ストレスたまるのが、Safariとかで縦に長いページを延々と下までスクロールしていかなくちゃいけないってところなんですよね。一番上に戻るのはステータスバーをタップで出来ますけど。

あと、Universalにして改めて感じたのは、iPadよりもRetina iPhoneの方がメモリ的にもパフォーマンス的にも厳しいなぁってことですね。

端末によりコンマ以下２桁の数字の部分に焼き付きが起きてしまう現象があったので修正しました。

おそらくほとんどのiPhoneやiPod touchでは起きない現象だと思いますが、AppStoreのレビューでユーザーさんからの指摘がありましたので修正版を出しました。ちなみに、逆にiPadではこの現象が起きる端末が結構多いと思います。現在製作中のiPad版を作り始めたときから悩まされていた現象です。

どうやらこのアプリのように、違う画像を60fpsで１フレームごとにチカチカと切り替えて表示させていると、うっすらと焼き付いたように画像が残ってしまうようです。メインの時間表示だけ30fpsに落として対処しています。

今回は、ほぼ単純にバグフィックスです。前バージョンをiOS4.2で動作させた場合、波形のスクロール方向が逆になったり、iPodライブラリから変換の必要の無い曲をインポートしようとすると失敗してしまうという不具合が出ていましたので修正しました。もし、そのような不具合が出るようでしたらアップデートをお願いします。

ただ、変換の必要の無い曲をインポートしようとすると失敗することから、iPodライブラリからの曲の読み込みは必ず時間がかかるようになってしまいました。この辺はご了承ください。

プログラミング的なことを書きますと、前バージョンはAVAssetExportSessionを使って読み込んでいたのを、AVAssetReaderに変えました。あまり深追いはしていないのですが、どうやら以前の記事「iPodライブラリからのファイル書き出し その２」で書いていたテクニックが使えなくなってしまったようです。もし参考にされている方がいらっしゃいましたらお気をつけ下さい。

そんな感じで、とりあえず今回はバグフィックスなんですが、現在、別バージョンのTouch the Waveを構想中です。

今のバージョンは、iPodライブラリからの読み込み機能が無い時点で開発したものなので、一旦オーディオファイルをアプリ内にコピーして再生するというなっていますが、今度はライブラリから選んだらわりとすぐ再生出来るようにしようかと、ちょこちょこ研究しています。

そうなるとアプリの構造をいろいろ変えたいので、Touch the Wave 2とは別アプリとして出そうかなと思っています。Touch the Waveシリーズ３本目ですね。完成したら今よりかなりシンプルなものになるんじゃないかと思います。

あと、BigStopWatchのiPad版も絶賛テスト中ですので、近いうちにリリース出来ると思います。

前回のアップデートで、バックグラウンドからの復帰時に再生できなくなることがあった不具合を修正しました。

プログラミング的な対処法を書いておくと、前バージョンはアプリがアクティブになった時だけAudioSessionを設定していたのですが、新バージョンでは音声を再生するときにもAudioSessionを設定するようにしました。アプリがバックグラウンドで深く眠ってしまっていたりすると、BecomeActiveでAudioSessionを奪い取ろうとしてもダメな時があるようです。これで完全に問題が修正できていれば良いのですが...。

変更点は、
・再生停止中に画面をロックした時にAudioUnitを止めて、バッテリーの消費を軽減
・アプリがバックグラウンドに入ったときに、画面表示系のメモリを解放。
・色や画像の調整。
・起動時のアニメーションを追加
といったところです。

ただ、バックグラウンド時のメモリ解放によって、アプリが完全に終了されてしまうことが減ったのですが、バックグラウンドから復帰したときに再生できなくなることがたまにあります。ただ、その場合でも、もう一度アプリを起動し直すと再生できるようです。再生できない場合は、申し訳ありませんがアプリの再起動で対応をお願いします。

起動時のタイトルのフェードアウトは、まあ、起動画像からのアニメーションを試してみたかっただけです。今回のアップデートはメモリ解放やバッテリー消費の改善がメインだったのですが、なにかわかりやすい変更もしておきたいなぁとおもってちょっとやってみました。

CMSampleBufferRef sampleBuffer = [audioMixOutput copyNextSampleBuffer];

CMBlockBufferRef blockBuffer;
AudioBufferList audioBufferList;
        
CMSampleBufferGetAudioBufferListWithRetainedBlockBuffer(sampleBuffer, 
                                                        NULL, 
                                                        &audioBufferList, 
                                                        sizeof(audioBufferList),
                                                        NULL, 
                                                        NULL, 
                                                        0, 
                                                        &blockBuffer);

//
//    ここでAudioBufferListから読み出す処理など
//

CFRelease(sampleBuffer);
CFRelease(blockBuffer);

とりあえずInterleavedなオーディオデータが読み出せればよいのであれば、上記のコードのようにAudioBufferListを作って、その中のデータを保持するCMBlockBufferをこの関数で取得するというだけで良いようです。引数がたくさんあって他にもいろいろ取得できるようですが、結構みんなNULLであっさり通ったので、あえてそれらを使って何かするのでなければいらないんじゃないでしょうか。たぶん。