Larsil2009's Blog

I den första delen av den här artikelserien diskuterade olika inspelningsprogram för Windows, Mac och Linux. Eftersom det finns Mac-användare i spelmanslaget så verkar GarageBand vara ett möjligt relativt enkelt program som kunde användas för utspridd inspelning av olika låtar så att de olika medlemmarna i spelmanslaget spelar in olika spår som sedan kombineras.

En känd begränsning som GarageBand har är att det är möjligt att importera MIDI till GarageBand men programmet tillåter inte export av MIDI. Ett problem är då att det kan vara besvärligare att modifiera existerande bas- och andra slingor i programmet än om man använde ett annat program bättre lämpat för just detta ändamål.

Programmet GbConverter, ett enkelt övningsarbete

Programmet GarageBand hanterar internt MIDI men exporterar inte spår eller delar av spår som midi. Detta är sannolikt ett medvetet marknadsföringsval.

GarageBand är ett gratisprogram som kan laddas ner från Apple store. Till programmet kan dessutom laddas ner ett rätt stort paket med ljud för Midi-instrument och låtslingor. Totalt bortåt 15GB färdiga ljud och slingor finns tillgängliga utan kostnad.  Trots att det finns mängder av slingor så hör en stor del till kategorin ”pop” vilket inte är speciellt intressant för ett spelmanslag som spelar traditionell, främst nordisk, folkmusik. Nya slingor, som passar bättre till folkmusik, borde alltså skapas. GarageBands oförmåga att exportera slingor som MIDI-filer gör att det är svårare att ”stjäla” och modifiera existerande slingor. Modifikation av en MIDI-fil  kan rätt enkelt göras i MuseScore som är ett notskriftsprogram med öppen källkod d.v.s. ”gratis”.  Orsaken till att export av MIDI saknas är sannolikt att GarageBand har en storebror med i princip samma användargränssnitt men med utökad funktionalitet bl.a. export av MIDI. Storebror heter Logic Pro som naturligtvis klarar av att exportera MIDI-filer.

Bilden visar utt urklipp från GarageBand där jag har importerat en sekvens grundackord från MuseScore i form av en MIDI-fil. Jag har i GarageBand klippt spåret i fyra delar (ackorden C, F, G och slutackord C). Antag nu t.ex. att jag vill ha tillgång till motsvarande eventuellt något modifierade slingor också i tretakt (vanligt i nordisk folkmusik) och i de vanligaste tonarterna C-, G-, D-, A-dur … I MuseScore har jag bra kontroll över transponering och kan enkelt lägga till rytmfigurer. Att modifiera melodislingor eller MIDI track i GarageBand kan göras men det är jobbigare än att använda en noteditor.

MIDI-export kan trots begränsningen i GarageBand göras rätt enkelt genom att utgå från GarageBands melodislingor (loop) som är lagrade i filer av typen .aif . Då man Googlar på detta filformat så hittar man t.ex. följande information:

Data format

En AIFF fil är uppdelad på ett antal block (chunk). Varje block idetifieras genom ett block ID (chunk ID) som som kallas FourCC. FourCC har sina rötter i Amiga datorns (i saligt minne) filformat. FourCC är en unik serie på fyra tecken som identifierar innehållet i ett block. Det MIDI-block vi plockar ut ur .aif filen börjar med teckensekvensen ‘MHdr’.

En AIFF fil kan innehålla följande blocktyper:

• Ett allmänt block (måste finnas). Common Chunk
• Ljuddatablock (måste finnas). Sound Data Chunk
• Utmärkning. Marker Chunk
• Instrumentblock. Instrument Chunk
• Kommentarblock. Comment Chunk
• Namnblock. Name Chunk
• Författare block. Author Chunk
• Copyright block. Copyright Chunk
• Annoteringsblock. Annotation Chunk
• Audio inspelningsblock. Audio Recording Chunk
• MIDI datablock. MIDI Data Chunk
• Applikationsblock. Application Chunk
• ID3-block. ID3 Chunk

Vi ser att filen innehåller ljuddata (okomprimerad i princip .WAV) samt en hel del annan information. Det vi är intresserade av ligger nära slutet d.v.s. vi hittar ett MIDI-datablock.

Vi googlar vidare och hittar en beskrivning på hur en MIDI-fil är uppbyggd. MIDI-blocket börjar med rubriken ‘MHdr’ och MIDI-blocket avslutas med  ‘CHS’. För att en MIDI-fil skall kunna läsas in i ett program behövs ytterligare kodsekvensen ’00’, ‘FF’, ‘2F’ och ’00’ som hexadecimala tal. Sekvensen anger att MIDI-filen är slut.

För att plocka ut MIDI ur en GarageBand .aif fil behöver vi alltså skriva ett program som läser .aif-filen och söker efter ‘MHdr’ samt ‘CHS’. Om dessa markörer hittas så skrivs hela området mellan makörerna (inklusive markörerna) till en fil som avslutas med kodsekvensen ’00’, ‘FF’, ‘2F’ och ’00’ (notera att sekvensen bestå av en Amiga fourCC kod). Ett enkelt program i t.ex. programmeringsspråket Python med denna funktionalitet kan hackas ihop mycket snabbt men det måste då köras i en terminal från kommandoraden. För att programmet skall se ut som en normal Mac applikation så måste det ha ett matchande grafiskt användargränssnitt.

Konversionsverktyget GbConverter skrivet i Lazarus (Pascal).

Att skriva i Lazarus (Pascal)

Programmeringsprojektet inleds genom att projektet namnges i vårt fall GbConverter. Då projektet skapas så väljer man samtidigt vilket bibliotek som används vid bygge av användargränssnittet. Jag använder det nyare Cocoa eftersom nyare versioner av macOs kommer att använda Cocoa vilket bör ge längre livslängd på programmet eftersom den gamla varianten långsamt fasas ut då nyare versioner av operativsystemet lanseras.

Jag startar Lazarus (Version 2.0.6) som jag tidigare hade installerat, installationen hör inte till denna artikelserie. Projektet är GbConverter.

Jag börjar med att fundera ut vilka grundkomponenter, fönster och fönsterkomponenter, jag behöver. Jag identifierar följande komponenter:

• Ett huvudfönster som heter GbConverter och som är det användaren normalt kommer att se.
• På huvudfönstret lägger jag en kortfattad instruktion.
• Jag behöver ett katalognamn för den plats dit den extraherade midifilen skall skrivas.
• Jag behöver ett filnamn för den extraherade midifilen.
• Jag behöver ett fönster som visar konversionsprocessen och som ger information om eventuella fel.
• En knapp öppnar en väljare för destinationskatalog.
• En knapp väljer filen som skall konverteras.

Jag behöver ett fönster som beskriver programmet. Detta fönster kopplas till den standardmenu som skall finnas på varje programs Menurad överst på skärmen då programmet kör och är aktivt.

I den här versionen av programmet öppnar jag ett separat fönster för val av fil som skall konverteras. Detta görs som ett experiment för att se hur kommunikation mellan fönster kan göras. I en senare version av programmet plockar jag antagligen bort detta fönster eftersom en filvalsdialog lika väl kan anropas direkt från huvudfönstret.

Lazarus programmeringsomgivning där de tre fönstren har ritats upp med hjälp av en fönstereditor.  Dessa fönster och komponenterna i fönstren kommer att generera tre pascal källkodsfiler  unit1_GbConverter, Unit1 samt Unit2. Då fönstren + komponenterna skapas så skapas samtidigt skelettkod i ovanstående moduler (unit1_GbConverter, Unit1 samt Unit2). Det är nu programmerarens uppgift att skriva kod inne i de färdiga tomma procedurer som skapats. Ett enkelt exempel:

Knappen <Set up ‘mid’ destination> skall hämta namnet på den katalog till vilken den utplockade MIDI-filen skall skrivas. Detta hanteras så att då man klickar  <Set up ‘mid’ destination> så förstår programmet automatiskt att det skall anropa proceduren (skelettet):

procedure TForm1.Button3Click(Sender: TObject);
Begin
end;

Jag öppnar då ett annat fönster som öppnar en fildialog som ger stigen till den katalog jag vill skriva till. Jag behöver lägga till följande:

procedure TForm1.Button3Click(Sender: TObject);
Begin
  Form2.ShowModal;
  LabeledEdit1.Text := Form2.midPath;
end;

Den första raden Form2.ShowModal; öppnar fönster nummer två (Form2). Den andra raden jag skriver LabeledEdit1.Text := Form2.midPath; kopierar text från det nya fönstrets textområde till huvudfönstrets textområde.

På motsvarande sätt fyller jag stegvis i kod i övriga av Lazarus skapade procedurer som jag behöver. Programmet kan hela tiden kompileras och köras men om kod saknas så finns naturligtvis ingen funktionalitet och det kommer i det färdiga programmet att finnas procedurer som har skapats automatiskt men som inte innehåller någon kod och som således är inaktiva. Intresserade läsare kan titta på källkoden till programmet som finns i zip-filen i slutet av artikeln.

Programmet innehåller en enda procedur som utför hela arbetet efter att man har definierat skrivkatalog, filnamn på fil som skall skrivas samt namnet på den fil som skall konverteras.

Koden är följande:

procedure extractMidi(filename:String);
var Ms:TMemoryStream;
Fs:TFileStream;
startMidi,endMidi,endCodeStart:Int64;
B : array of Byte;
fileSize : Integer;
pattern: TPatternArray;
begin
  Form1.Memo1.Lines.Add('Get contents of:'+filename);
  if not FileExists(filename) then Exit;
  destPath := Form1.LabeledEdit1.Text;
  if destPath='' then
  begin
    Form2.ShowModal;
    Form1.LabeledEdit1.Text := Form2.midPath;
    destPath :=Form2.midPath;
    Form1.Memo1.Lines.Add('Selected MIDI output destination:'+destPath);
  end;
  destFile := Form1.LabeledEdit2.Text;
  Form1.Memo1.Lines.Add('Set destPath to:'+destPath);
  Form1.Memo1.Lines.Add('Set destFile to:'+destFile);
  Form1.Memo1.Lines.Add('Set destFile to:'+destPath+'/'+destFile);
  if not DirectoryExists(destPath) then
  begin
    Form1.Memo1.Lines.Add('Error:'+destPath+' does not exist');
    Exit;
  end;
  if FileExists(destPath+'/'+destFile) then
  begin
    if DeleteFile(destPath+'/'+destFile) then
    begin
      Form1.Memo1.Lines.Add('Deleted old version of .mid file');
    end else
    begin
      Form1.Memo1.Lines.Add('Error: Could not delete old version of .mid file');
    end;
  end;
  Ms := TMemoryStream.Create;
  Ms.LoadFromFile(filename);
  filesize := Ms.Size;

  try
  Ms.Position := 0;
  Form1.Memo1.Lines.Add('Read Loop file.');
  Form1.Memo1.Lines.Add('Size='+IntToStr(fileSize));
  { Searching for 'MTrk' in the FileStream }
  pattern := StringToByteArray('MThd');
  startMidi := DoSearch(Ms,pattern);
  { Ensure we continue from 'MThd' forward }
  Ms.Seek(4,startMidi);
  pattern := StringToByteArray('CHS');
  endMidi := DoSearch(Ms,pattern);
  Form1.Memo1.Lines.Add('Looked for MIDI start=MThd, res='+IntToStr(startMidi));
  Form1.Memo1.Lines.Add('Looked for MIDI end=CHS, res='+IntToStr(endMidi));
  if (startMidi>0) and (endMidi>0) then
  begin
    Form1.Memo1.Lines.Add('Extract MIDI');
    //filePath := ExtractFilePath(filename);
    Form1.Memo1.Lines.Add('File path:'+destPath);
    Form1.Memo1.Lines.Add('Output File name:'+destPath+'/'+destFile);
    Fs := TFileStream.Create(destPath+'/'+ destFile, fmCreate);
    { Read into temporary buffer }
    SetLength(B,(endMidi-startMidi + 16));
    Ms.Position := startMidi;
    { We include the start and end codes (4=MTrk)(3=CHS)}
    Ms.Read(B[0],(endMidi-StartMidi+3));
    endCodeStart := endMidi-StartMidi+4;
    { Add MIDI end of track mark }
    B[endCodeStart]:= $00;
    B[endCodeStart+1]:= $FF;
    B[endCodeStart+2]:= $2F;
    B[endCodeStart+3]:= $00;
    { Write Buffer to FileStream }
    Fs.Write(B[0],(endMidi-StartMidi+3));
    Fs.Free;
  end else
  begin
    Form1.Memo1.Lines.Add('Invalid LOOP file, MThd and/or CHS not found.');
    Exit;
  end;
  finally
    Ms.Free;
  end;
end;

Programtexten bör vara relativt enkel att läsa. De första ca. 30-raderna är endast kontroll av möjliga fel d.v.s. kontroll att destinationskatalogen finns etc. Om filen som skall konverteras inte finns så ger programmet upp genast. Det egentliga arbetet börjar vid:

Ms.MemoryStream.Create;
Ms.LoadFromFile(filename);
filesize := Ms.Size;

Vi läser in hela .aif filen i maskinens minne. I mitt testfall är det ungefär 400 000 tecken eftersom aif-filen också innehåller ljuddata (WAV).  Alla rader som innehåller Form1.Memo … skriver till informationsfönstret så att man skall kunna se om något går fel. Dessa raders enda funktion är att informera om hur långt vi har kommit i konversionen och dessa rader kunde lämnas bort utan att programmets funktion ändras.

pattern := StringToByteArray('MThd');
startMidi := DoSearch(Ms, pattern);

Vi söker efter strängen som indikerar början på midi blocket.

Ms.Seek(4,startMidi);

Vi ställer en pekare så att vi fortsätter sökandet efter den hittade startpunkten. Det kunde annars, om vi skulle söka efter ‘CHS’ från början av filen,  hända att teckenserien vi härnäst söker efter ‘CHS’ kunde tänkas finnas i det redan avsökta området vilket skulle ge fel och eventuellt leda till mycket intressanta bieffekter då det funna blocket skall skrivas till skiva (sannolikt skulle krogrammet krascha och eventuellt skulle maskinen låsa sig). Därefter söker vi slutet på midifilen på motsvarande sätt.

pattern := StringToByteArray('CHS');
endMidi := DoSearch(Ms, pattern);

Om vi har hittat både en startpunkt och en endpunkt så antar vi att det som finns mellan dessa punkter är den MIDI-fil vi vill plocka ut.

Vi läser in MIDI-området i en temporär buffert som jag kallar B och som är tillräckligt lång för att rymma MIDI-filen.  Vi skapar en Fil-ström som vi senare använder för att skriva midifilen till skiva.

Fs := TFileStreamCreate(destPath+'/'+destFile);

Vi läser in midi-området i bufferten B innan vi skriver till skiva för vi vill modifiera filen en aning innan vi skriver den. Vi beräknar platsen i bufferten där midi-blocket är slut d.v.s. efter ‘CHS’ men så att ‘CHS’ också skrivs till skiva.

Ms.Read(B[0],(endMidi-startMidi+3);
endCodeStart := (endMidi-startMidi+4);

Vi lägger nu till stoppkoden som signalerar till något annat program som läser midifilen att midifilen är slut.

B[endCodeStart] := $00;
B[endCodeStart+1] := $FF;
B[endCodeStart+2] := $2F;
B[endCodeStart+3] := $00;

Slutligen skriver vi resultatet till skiva och är färdiga att börja behandla följande .aif fil.

Fs.Write(B[0],(endMidi-startMidi+8));
Fs.Free

Sökning i minnet

Att söka efter en textsträng i en s.k. binärfil är besvärligare än att söka i en normal textmassa. Sökning i en text kan göras med en mängd färdiga verktyg. Sökning i en binärfil blir mera komplicerad av att vilka tecken som helst kan förekomma också tecken som har specialbetydelse i en vanlig text och som kan få en sökfunktion att tappa bort sig. Sökningen görs med hjälp av en kort sökfunktion :

function DoSearch(Stream: TMemoryStream; Pattern: TPatternArray): Int64;
var
  idx :Integer;
begin
  result := -1;
  for idx := Stream.Position to Stream.Size - Length(Pattern) do
  begin
    if CompareMem(Strem.Memory + idx, @Pattern[0], Length(Pattern))
    then exit(idx);
  end;
end;

Wi söker alltså direkt i maskinens centralminne i en kopia på GarageBands aif fil vilket gör sökningen snabb också på en gammal och i princip långsam iMac som den jag har.

Det kan vara kul att titta på kostnaderna för de iMac-ar jag har satt upp för musikprojektet.

Den maskin jag skrivit programmet på är en 21,5 tums iMac från 2009 med 12 GB centralminne och 500 GB SSD hårdskiva. Totalpris ca. 100E efter minnesuppgradering och byte av en urgammal mekanisk hårdskiva som sannolikt sjöng på sista versen till SSD-skiva.

Anders, en god vän kör en 24 tums iMac årsmodell 2007 uppgraderad till maximalt 6GB centralminne med SSD hårdskiva. Pris totalt under 100E efter uppgradering … inköpt för 10E utan hårdskiva.

Det är intressant att notera att då jag inte spelar datorspel så fungerar båda maskinerna utmärkt utan att visa några som helst ålderskrämpor i form av störande tröghet gällande de program jag använder (Garageband, OpenOffice, Vebbläsare och Lazarus).

(Följande artikel beskriver hur det ”hackade” systemet används)