Server Client Audio

[Eichelhäer]

Hallo, ich habe es geschafft den Input eines Microhones in einen byteBuffer einzulesen und wieder auszugeben, also man spricht und hört sich gleichzeitig reden.
Mittlerweile habe ich auch einen ChatServer mit clients am laufen der bis auf die scrollbar ( alles von hand gemacht keine swing componenten) wunderbar läuft.
Nun möchte ich über denselben server sowie den client einen voice chat implementieren. Mein client besitzt beide Methoden sowohl vom Microphon einlesen als auch den sound ausgeben. Was auch für jeden client selbst funktioniert. Ähnlich wie mein textchat habe ich nun vor den mit dem microfon eingelesenen buffer an den server zu schicken, dieser schickt den buffer dann an die anderen clients und gibt ihn aus. Dabei vermeide ich mit entsprechenden variablen, dass der client sich nicht selbst reden hört, indem das eigene bufferpacket nicht an ihn zurückgesendet wird. Nun weiss ich nicht wie ich den buffer an den server schicken muss, so wie ich das mit dem reader/writer prinzip getan habe. Ich hatte dabei an einen AudioInputstream/AudioOutputstream gedacht aber iwie will das nicht so recht. Weiss da jemand hier was?

 

[Robert Zenz]

Ich habe noch nie so etwas realisiert, also mit Sprache, aber ich denke die Funktion muesste die selbe sein wie mit Text, nur mit den Unterschied dass du nicht auf die Senden-Aktion des Benutzers wartest, sondern alle (aus meinem Hintern gezogen) 100ms alles schickst was du bis jetzt hast.

Also auf dem sprechenden Client nimmst du 100ms an Ton auf, schickst diese als "einfaches" Byte-Paket an die anderten Clients, und dort nimsmt du diese Nachricht einfach und schiebst sie in dein Audio-Geraet um sie wiederzugeben. Also der Netzwerk-Schicht ist eigentlich egal welche Daten sie transportiert, dass diese zu Audio werden entscheidet sich erst nach dem empfangen beim verarbeiten. Dabei bietet sich ein UDP-Netzwerkverkehr an, weil du dann pro Paket weniger Latenz heiszt (aber dafuer koennen die halt verloren gehen oder in der falschen Reihenfolge ankommen, aber das kann man auch mit einem Buffer auf dem Client loesen, den man ohnehin braucht.

Aber der Grundsatz ist, dass deiner Netzwerkschicht und Logik eigentlich egal ist was du da verschickst, also wenn du bereits Text verschicken kannst, kannst du auch bereits Audio, du musst nur beim verarbeiten nach dem empfangen etwas anderes machen.

 

[Eichelhäer]

Ok danke erstmal

 

[Eichelhäer]

Ok ich habe es geschafft mit dem Server. Dieser nimmt nun den bytestream über seinen DatagramSocket entgegen und sendet nur die bytes zurück zu den jeweiligen clients. Nun habe ich das Problem, dass das bekannte rauschen und eine art delay sowie ein leichter hall auf den lines liegt. Ich habe nun mit getControlls sowohl die Tartgetlines vom input, bei denen keine controlls gefunden werden konnten, als auch die source lines überprüft. Bei den source lines habe ich vier Controlls gefunden PAN,MUTE,BALANCE und MASTER GAIN. Ich habe nach geschaut und weiss was diese bedeuten. Ebenfalls auf der Seite von Oracle steht wenn man die REVERB controll hat kann mann den hall und delays über einen int sagen so manipulieren dass dieser eventuell weg ist. Un d was noch dort steht ist, das eine Line egal ob vom Mixer oder Port nicht zwangsweise über Controlls verfügt, und dass man diese dann halt nicht anpassen kann. Nun habe ich ein gängiges Audioformat 44100 16 2 mit dem das ganze eig ganz gut läuft also ich höre etwas nur anpassen über die Controlls kann ich iwie nicht. Weiss da jemand Rat?

 

[Eichelhäer]

Gibts noch weitere Möglichkeiten den sound anzusteuern als mit den Java Sound Api Controls?

 

[Eichelhäer]

Mittlerweile konnte ich erfolgreich PAN, BALANCE,MUTE und MASTERGAIN anpassen. _Alles was jetzt noch fehlt ist der Reverb und das delay innerhalb der Reverb Control. Noch was weiss jemand wie das mit den Ports funktioniert? Output: sourceline->mixer -> Port und input: Port->Mixer->targetline helfen mir nur geringfügig weiter.

 

[Eichelhäer]

Hi nochmal hier, ich habe noch eine Frage zu der Sound Api. Mittlerweile habe ich sound- und effektlautstärken eingebaut was auch soweit funktionier. Wie ist das aber nun mit einer Master oder Gesamtlautstärke? Unterstützt die Mixer Klasse sowas wie audio busses, um eine gruppe aus lautstärken zu kontollieren, oder muss man da umwege gehen?