this post was submitted on 19 Jun 2023
167 points (96.6% liked)
Deutschland
6710 readers
14 users here now
Sammelbecken für deutsche Kartoffeln und ihre Geschichten über Deutschland.
Nicht zu verwechseln mit !dach und !chad.
Regeln
- Seid nett zueinander.
- Schreibt hier Beiträge, die ganz Deutschland betreffen, nicht nur einen kleinen Teil
- Sinnlose Provokationen ohne Inhalt werden gelöscht
- zusätzlich: alle Regeln, die ihr auf Feddit.de in der Sidebar lesen könnt.
Bundesländer:
founded 3 years ago
MODERATORS
you are viewing a single comment's thread
view the rest of the comments
view the rest of the comments
Hör bloß auf, ich bin der Machine-Learing-Sparte tätig und es geht mir so auf den Sack. Viele Unternehmen kriegen es nicht mal hin ihre Daten vernünftig zu halten (20 Excel-Tabellen mit 21 verschiedenen Schemata sind keine ordentliche Datenhaltung) und wollen jetzt auf einmal krass KI machen.
Ich hoffe einfach, dass Dinge die LLMs gut können, z.B. dummschwatzen, bald als obsolet angesehen werden und wir es einfach lassen. Wir schön wäre eine Welt ohne Bewerbungsschreiben.
Ja, das finde ich immer wieder faszinierend an Leuten, die LLMs geil finden. Die schwärmen dann total davon, dass sie in nur 2 Sätze beschreiben können, was für einen Text sie haben wollen, damit das ChatGPT auf eine DIN A4 Seite aufbläst.
Warum wollt ihr eine DIN A4 Seite an Text haben, wenn die Bedeutung in 2 Sätzen gesagt ist?
Alles damit der jenige der sich über die aussagenlose Textwand freuen darf, diese mit ChatGPT wieder zusammenfasst
Ah, vielleicht ist das dann eine neue Form von Steganographie! Einfach die schützenswerte Information in ellenlanges 08/15-Gewäsch einbetten, so dass selbst der entschlossenste NSA-Agent einschnarcht.
Wie siehst du als ML Ingenieur die Entwicklung zu mehr Einheitsbrei durch ML Systeme? Also ist das tatsächlich auch außerhalb der inzwischen madigen Google Suchergebnisse gegeben und ein langfristiges Problem, oder ist das eher ein Ausnahmefall oder technisch gut lösbar?
Ich weiß jetzt nicht worauf genau du mit Einheitsbrei anspielst, aber ich habe neulich einen Artikel gesehen wo es darum ging, dass zukünftiges Training von LLMs ein Problem haben könnte, wenn in den Trainingsdaten aus dem Netz haufenweise halbgarer KI-Content dabei ist.
Ansonsten ist mein Feld eher mit Sensordaten aus Industriemaschinen beschäftigt. Da gibt's bis jetzt zum Glück keine KI die Daten generiert.
Einheitsbrei bezogen darauf, dass statistische Systeme zu Mittelwerten tendieren, was z.B. bei Suchanfragen bedeutet, dass es schwieriger wird spezifische Infos zu finden. habe z.B. gerade einen Namen googlen müssen, um das Geschlecht herauszufinden. Name + gender als Suchanfrage hat mir dann zig Artikel zu gendergerechter Sprach ausgegeben, weil das so viel stärker mit dem Begriff vom System assoziiert wird, als eine Webseite zu finden, wo der gesuchte Name beschrieben ist.
Das für LLMs dann das Problem wird, dass sie auf ihrem eigenen halbgaren Content trainieren ist spannend, wobei ich fürchte das ein ähnliches Ergebnis wie bei den Sichanfragen rauskommt. Also weniger spezifische Antworten, weil deine 1% Anfrage nicht gegen die 60% Anfragen ankommen kann.
Zu den Sensordaten, trainiert ihr Modelle, die schon ein gewisses Physikverständnis hardgecoded haben, oder betrachtet ihr die Maschinen als Blackbox was Input/Output angeht?
Tut mir Leid, wenn ich dich mit Fragen zu ML überfalle.
Ach kein Ding. Wenn ich keinen Bock mehr habe, antworte ich einfach nicht mehr.
Ich denke, du hast grundlegend Recht, aber hier musst du sehen, dass es sich nicht um marginale Verteilungen handelt, sondern um bedingte. Deine Suchanfrage oder der Prompt des LLM sind die Bedingung der gelernten Verteilung. Ich denke es wird eher darauf hinauslaufen diese Bedingung so genau wie möglich zu formulieren. Dadurch bekommt man dann auch ein Sample aus der Verteilung die man wollte.
Wir arbeiten bei unseren Modellen noch komplett datengetrieben. Die Maschinen sind so unterschiedlich, dass es eine Sisyphosaufgabe wäre jede einzelne zu physikalisch zu modellieren. Langfristig werden wir wohl nach Clustern suchen und diese ähnlichen Maschinen zusammen modellieren.