this post was submitted on 19 Jun 2023
167 points (96.6% liked)
Deutschland
6710 readers
14 users here now
Sammelbecken für deutsche Kartoffeln und ihre Geschichten über Deutschland.
Nicht zu verwechseln mit !dach und !chad.
Regeln
- Seid nett zueinander.
- Schreibt hier Beiträge, die ganz Deutschland betreffen, nicht nur einen kleinen Teil
- Sinnlose Provokationen ohne Inhalt werden gelöscht
- zusätzlich: alle Regeln, die ihr auf Feddit.de in der Sidebar lesen könnt.
Bundesländer:
founded 3 years ago
MODERATORS
you are viewing a single comment's thread
view the rest of the comments
view the rest of the comments
Schöne Idee! Ich bin Informatiker und stehe kurz vorm Abschluss meines Masters. Ehrlich gesagt, sind die KIs und und im Speziellen LLMs, wie GPT und LLaMA et cetera bei mir auch täglich sehr präsent. Obwohl ich KI, und nicht nur die neuronale Herangehensweise, auf jeden Fall interessant finde, kann ich diesen Hype langsam nicht mehr hören. Zum Glück konnte ich, als ich noch Vorlesungen besuchen musste, noch einige Module ohne KI-Schwerpunkt wählen. Aber das ist auf meiner Uni jetzt vorbei. Die neuronalen Netze entwickeln sich aus meiner Perspektive langsam zum Blockchain-Phänomen, bei dem auf alles neuronale Netze geworfen werden, weil es gerade en vogue ist, auch wenn das gar keinen Sinn ergibt und die ganzen Ex-Kryptobros und Entrepeneure dummschwätzen, wie unfassbar sinnvoll es sei, auf alles KI zu klatschen. Ich vermisse die Zeit, in der bestimmte Dinge auch einfach mal sauber ausprogrammiert wurden und man sich mit der Mathematik an sich auseinandergesetzt hat. Wenn diese Herangehensweise eine Lösung ist, dann ist sie sehr häufig nämlich viel energiesparsamer und im Gegensatz zu den neuronalen Netzen, kann man den Systemzustand analysieren und verstehen, warum ein Algorithmus etwas macht. Ich bin gespannt, wie es weiter geht, vor allem aber, was ihr in anderen Bubbles so zu erzählen habt.
Hör bloß auf, ich bin der Machine-Learing-Sparte tätig und es geht mir so auf den Sack. Viele Unternehmen kriegen es nicht mal hin ihre Daten vernünftig zu halten (20 Excel-Tabellen mit 21 verschiedenen Schemata sind keine ordentliche Datenhaltung) und wollen jetzt auf einmal krass KI machen.
Ich hoffe einfach, dass Dinge die LLMs gut können, z.B. dummschwatzen, bald als obsolet angesehen werden und wir es einfach lassen. Wir schön wäre eine Welt ohne Bewerbungsschreiben.
Ja, das finde ich immer wieder faszinierend an Leuten, die LLMs geil finden. Die schwärmen dann total davon, dass sie in nur 2 Sätze beschreiben können, was für einen Text sie haben wollen, damit das ChatGPT auf eine DIN A4 Seite aufbläst.
Warum wollt ihr eine DIN A4 Seite an Text haben, wenn die Bedeutung in 2 Sätzen gesagt ist?
Alles damit der jenige der sich über die aussagenlose Textwand freuen darf, diese mit ChatGPT wieder zusammenfasst
Ah, vielleicht ist das dann eine neue Form von Steganographie! Einfach die schützenswerte Information in ellenlanges 08/15-Gewäsch einbetten, so dass selbst der entschlossenste NSA-Agent einschnarcht.
Wie siehst du als ML Ingenieur die Entwicklung zu mehr Einheitsbrei durch ML Systeme? Also ist das tatsächlich auch außerhalb der inzwischen madigen Google Suchergebnisse gegeben und ein langfristiges Problem, oder ist das eher ein Ausnahmefall oder technisch gut lösbar?
Ich weiß jetzt nicht worauf genau du mit Einheitsbrei anspielst, aber ich habe neulich einen Artikel gesehen wo es darum ging, dass zukünftiges Training von LLMs ein Problem haben könnte, wenn in den Trainingsdaten aus dem Netz haufenweise halbgarer KI-Content dabei ist.
Ansonsten ist mein Feld eher mit Sensordaten aus Industriemaschinen beschäftigt. Da gibt's bis jetzt zum Glück keine KI die Daten generiert.
Einheitsbrei bezogen darauf, dass statistische Systeme zu Mittelwerten tendieren, was z.B. bei Suchanfragen bedeutet, dass es schwieriger wird spezifische Infos zu finden. habe z.B. gerade einen Namen googlen müssen, um das Geschlecht herauszufinden. Name + gender als Suchanfrage hat mir dann zig Artikel zu gendergerechter Sprach ausgegeben, weil das so viel stärker mit dem Begriff vom System assoziiert wird, als eine Webseite zu finden, wo der gesuchte Name beschrieben ist.
Das für LLMs dann das Problem wird, dass sie auf ihrem eigenen halbgaren Content trainieren ist spannend, wobei ich fürchte das ein ähnliches Ergebnis wie bei den Sichanfragen rauskommt. Also weniger spezifische Antworten, weil deine 1% Anfrage nicht gegen die 60% Anfragen ankommen kann.
Zu den Sensordaten, trainiert ihr Modelle, die schon ein gewisses Physikverständnis hardgecoded haben, oder betrachtet ihr die Maschinen als Blackbox was Input/Output angeht?
Tut mir Leid, wenn ich dich mit Fragen zu ML überfalle.
Ach kein Ding. Wenn ich keinen Bock mehr habe, antworte ich einfach nicht mehr.
Ich denke, du hast grundlegend Recht, aber hier musst du sehen, dass es sich nicht um marginale Verteilungen handelt, sondern um bedingte. Deine Suchanfrage oder der Prompt des LLM sind die Bedingung der gelernten Verteilung. Ich denke es wird eher darauf hinauslaufen diese Bedingung so genau wie möglich zu formulieren. Dadurch bekommt man dann auch ein Sample aus der Verteilung die man wollte.
Wir arbeiten bei unseren Modellen noch komplett datengetrieben. Die Maschinen sind so unterschiedlich, dass es eine Sisyphosaufgabe wäre jede einzelne zu physikalisch zu modellieren. Langfristig werden wir wohl nach Clustern suchen und diese ähnlichen Maschinen zusammen modellieren.
Ach, da kann ich dich beruhigen. Hab 2005 als Informatiker abgeschlossen und dachte damals genau das gleiche über früher(TM). Irgendwann hört man auf mit dem Zählen der durchs Dorf getriebenen Säue. Aber ja, ich kann bestätigen, dass das Thema auch in meiner Bubble präsent ist. Wobei genau umgekehrt proportional zum Wissen in Informatik von der Panik her...
Ja, das fällt mir sogar als Hobbyprogrammierer auf. Jeder schlägt für alles KI vor, auch wenn es überhaupt keinen Sinn macht. Keine Sau braucht KI im Auto, das Ding muss zuverlässig und deterministisch funktionieren.
Ich persönlich warte auf genau eine einzige Anwendung von KI in meinem Alltag: Home Assistant mit meinen eigenen Mikrofonen, TTS und Sprachsynthese, API-Anbindung an ChatGPT-4. Der Witz dabei muss natürlich sein, dass die KI die Bezeichnungen meiner Geräte und Räume kennt und versteht.
Ist sicherlich heute schon machbar, habe aber aktuell keine Zeit mich da reinzufuchsen.
"KI" ist vielleicht einfach die neue Buzzword-Sau die durchs Dorf getrieben wird, weil "Blockchain" inzwischen langweilig geworden war.
Im Gegensatz zu Blockchain ist KI aber gekommen um zu bleiben. Ist ja nicht umsonst Thema in der Informatik seit es die Informatik gibt. Die aktuelle Frage ist nur, welche LLM-Anwendungen tatsächlich sinnvoll sind und in der Praxis Vorteile bringen.
Die Technologie Blockchain ist auch gekommen um zu bleiben, nur eben 99% der derzeitigen Blockchain-Projekte nicht.
Stimmt zwar an sich schon, aber im Grunde ändert sich die Bedeutung von "KI" alle paar Jahre, bzw. wofür es als Buzzword wirklich steht.
In den 50ern war die böse KI, die Leuten ihre Arbeitsplätze weggenommen hat, das, was wir heute als "Taschenrechner" bezeichnen würden (nur, dass die damals in keine Tasche gepasst hätten).
Und vor ein paar Jahren war mit "KI" i.d.R. ein Machine Learning Modell gemeint. Jetzt ist eben KI = LLM, und in ein paar Jahren hat "KI" dann vielleicht Sensoren oder ein Gesicht.
Das ist denke ich so nicht ganz richtig.
In den 50ern standen such-basierte ansätze im vordergrund die automatisiert Spiele wie Schach spielen, mathematische Theoreme beweisen, oder allgemein logische schlüsse ziehen konnten. Mein taschenrechner kann das nicht. (Neuronale netze gab es auch schon, wenn auch nicht ganz in der heutigen form.)
Als sich das als zu unflexibel für reale anwendungsfälle erwies wurde im bereich probabilistische systeme gearbeitet, welche mit unsicherheit umgehen konnten. Aber auch hier kannte man die regeln nach denen das system arbeitet noch.
In den 90ern, als es durch mehr EDV auch größere datensätze gab, haben sich in eineigen anwendungsfällen machine learning systeme durchgesetzt, welche die regeln anhand von daten selbst lernen.
Seit den 10ern hat sich gezeigt, dass sich machine learning ansätze, insbesondere neuronale netze, mit mehr daten und rechenleistung scheinbar beliebig skallieren lassen. Und das ist im wesentlichen das, was seit 11 jahren passiert.
LLM sind nur skalierte machine learning modelle für sprache. Die grundlagen kommen aber aus den 50/60ern.
Dagegen kann ich nicht wirklich argumentieren, weil mein Kommentar im Kern den Inhalt dieses (gut recherchierten) Vortrags widerspiegelt: https://tube.bawü.social/w/1c464828-a83e-4ff9-b264-197ba7968204
Ich könnte mir aber vorstellen, dass es einfach einen Unterschied zwischen Forschungsthemen und öffentlicher Wahrnehmung gab. Also vielleicht war es tatsächlich oft die selbe, zu Grunde liegende Technologie, die aber immer wieder zur Lösung neuer Probleme eingesetzt werden konnte.
LLMs tatsächlich für Sprache einsetzen ist schon cool. Also zusammenfassen, umformulieren, vlt sogar passenden Puffertext erzeugen.
Auch Modelle wie Stable Diffusion sind super, wenn man irgendwelche unverfänglichen Aufhängerbilder o.ä. braucht.
CoPilot funktioniert als Assistent beim Programmieren auch schon erschreckend gut. Spart stellenweise eine Menge Tipparbeit.
Sind halt alles Werkzeuge. Eigenständig sinnvoll ist davon nichts.
Das ist doch bei jeder Technologie, die neuartig ist. Es werden jegliche Lösungen heraufbeschworen ohne genauer über das Problem nachzudenken.
Ich stecke in der KI-Materie nicht super tief drin, aber verstehe es hinreichend. Da nervt es schon, wenn man es mit Leuten zu tun hat, die nur in LinkedIn-Hashtags denken und die Sinnhaftigkeit der Technologie nicht verstehen.
Schau dir Mal Home Assistant an, das kann schon die Grundsätze von Sprachassistenz. (Falls du genau diese Software schon gemeint hast, dann hoffen wir Mal auf eine gute Weiterentwicklung davon)
Fullack! Man sucht jetzt Probleme, die man mit KI lösen kann statt erst das Problem zu verstehen und DANN zu überlegen, welche Lösung dafür sinnig ist. Hier werden 100k verballert für eine Lösung wo wir nicht wissen, ob sie funktionieren wird. Es werden lauter solcher Wetten abgeschlossen ohne die sich nur einmal anzuhören, für die man eigentlich alles macht. Kunden, Anwender, User usw.
Aber der Abteilungsleiter beim Kunden freut sich, dass er präsentieren kann, dass im neuen Projekt KI drinsteckt, und er definitiv kein Dinosaurier ist, und den technologischen Fortschritt noch im Griff hat. Das erzählt er dann dem Spartenchef, der das gleiceh über sich selbst denkt und den C-Leuten erzählt. Die freuen sich dann, dass ihr Unternehmen ja dank ihrer großen Visionen weiter erfolgreich ist, und können das dann in den Quartalsbericht schreiben.
Sowas lässt man sich doch gerne ein paar Hundertausend kosten.
Aufgrund persönlicher Kontakte in eines der wichtigen Bundesministerien kann ich euch verraten: Da gibt es eine Staatssekretärin, die ihre Leute damit beauftragt, eine KI zum Redenschreiben zu bringen. Die Mitarbeiter verzweifeln jetzt schon, die Zuhörer dann später.
Kann eigentlich nicht soo schwer sein mit GPT-4. Halt mit talking points bis September 2021
Reden für eine deutsche Staatssekretärin will man aber nicht unbedingt an eine US-Firma outsourcen. Dann eher ein Modell was man lokal nutzen kann, die kommen aber soweit ich weiß nicht an GPT-3.5 und erst recht nicht an 4 heran.
Aber egal, die Idee ist sowieso Quatsch.
Warum ist die Idee sowieso Quatsch? Ich finde das eigentlich selbstverständlich. GPT-4 ist ein fantastisches Werkzeug wenn es um natürliche Sprache geht.
Das bezog sich auf die allgemeine Idee, die Reden der Staatssekretärin per KI schreiben zu lassen, nicht spezifisch auf den Vorschlag, GPT-4 dafür zu nutzen.
Ja aber warum? GPT-4 ist halt derzeit das beste, und warum sollte so ein Gutes nicht für Reden verwendet werden?
Ich seh’s so: Die Fanboys können sich damit beschäftigen, während ich heute echte Probleme bei echten Kunden löse. Vor kurzem war es Krypto, heute ist es ChatGPT. Immer wieder was neues.
Solange die Kunden nicht brauchbar beschreiben können, was sie wirklich wollen, sehe ich keinen großen Mehrwert in der Entwicklung. Und die wenigsten (meiner Kunden) können das. Auf der Entwicklerseite: Wer immer weniger Code selber schreibt, hat immer größere Probleme fremden Code zu verstehen. Auch das sehe ich sehr kritisch.
Was macht mich als zielorientierten Mensch aus? Du gibst mir ein Problem, ich löse es für dich und du bezahlst mich dafür. Fire and forget. Ich sehe nicht das eine KI wenn’s hart auf hart kommt um 3 Uhr Nachts ins Auto steigt, eine Entwicklungsumgebung startet und debugging betreibt um festzustellen, dass du kein Papier in den Drucker eingelegt hast… Und in meiner Bubble will sich der durchschnittliche Mitarbeiter immer weniger mit der Materie auseinandersetzen. Die einen Geben die „Drecksarbeit“ an andere ab, die anderen meinen ChatGPT schreibt ihnen in 5 Minuten ein MES System indem sie als Beschreibung einen Einzeiler schreiben 😄