Autor: Li Ruifeng
Papiertitel
Föderiertes Lernen mit Domänenverschiebung neu denken: Eine prototypische Sicht
Papierquelle
CVPR 2023
Link zum Papier
Code-Link
https://github.com/yuhangchen0/FPL_MS
Als Open-Source-KI-Framework bietet MindSpore Industrie, Universitätsforschung und Entwicklern ein umfassendes Szenario für die Zusammenarbeit zwischen Geräten, Edge und Cloud, minimalistische Entwicklung, ultimative Leistung, extrem umfangreiches KI-Vortraining, minimalistische Entwicklung sowie eine sichere und vertrauenswürdige Lösung Erfahrung, 2020.3.28 Open Source hat mehr als 5 Millionen Downloads, wurde an über 100 Top-Universitäten unterrichtet und ist über HMS auf über 5000 Apps erhältlich und ist in den Bereichen KI-Computing, Finanzen, intelligente Fertigung, Finanzen, Cloud, Wireless, Datenkommunikation, Energie, Verbraucher 1+8+N, Smart Cars und andere End-Edge-Cloud-Car-Szenarien weit verbreitet ist die Open-Source-Software mit dem höchsten Gitee-Index. Jeder ist herzlich willkommen, an Open-Source-Beiträgen, Kits, Model-Crowd-Intelligence, Brancheninnovationen und -anwendungen, Algorithmusinnovationen, akademischer Zusammenarbeit, KI-Buchkooperation usw. teilzunehmen und Ihre Anwendungsfälle auf der Cloud-Seite, Geräteseite, Edge-Seite und anderen beizutragen Sicherheitsbereiche.
Mit der umfassenden Unterstützung von SunSilicon MindSpore aus der wissenschaftlichen und technologischen Gemeinschaft, der akademischen Welt und der Industrie machten KI-Artikel, die auf SunSilicon MindSpore basieren, im Jahr 2023 7 % aller KI-Frameworks aus und belegten damit zwei Jahre in Folge den zweiten Platz weltweit. Vielen Dank an CAAI und alle Universitäten Mit der Unterstützung der Lehrkräfte werden wir weiterhin hart zusammenarbeiten, um KI-Forschung und -Innovation zu betreiben. Die MindSpore-Community unterstützt die Forschung zu erstklassigen Konferenzbeiträgen und erstellt weiterhin originelle KI-Ergebnisse. Ich werde gelegentlich einige hervorragende Artikel zur Förderung und Interpretation auswählen. Ich hoffe, dass mehr Experten aus Industrie, Wissenschaft und Forschung mit Shengsi MindSpore zusammenarbeiten, um die KI-Innovation und KI-Anwendungen weiter zu fördern ist von Shengsi. Für den 18. Artikel der MindSpore AI Summit Paper-Reihe habe ich mich entschieden, einen Artikel des Lehrerteams Ye Mang von der School of Computer Science der Universität Wuhan zu interpretieren . Ich möchte allen Experten, Professoren und Klassenkameraden danken für ihre Beiträge.
MindSpore zielt darauf ab, drei Hauptziele zu erreichen: einfache Entwicklung, effiziente Ausführung und vollständige Szenarioabdeckung. Durch die Nutzungserfahrung entwickelt sich MindSpore, ein Deep-Learning-Framework, schnell weiter und das Design seiner verschiedenen APIs wird ständig in eine vernünftigere, vollständigere und leistungsfähigere Richtung optimiert. Darüber hinaus unterstützen verschiedene Entwicklungstools, die ständig aus Shengsi hervorgehen, dieses Ökosystem dabei, komfortablere und leistungsfähigere Entwicklungsmethoden zu erstellen, wie z. B. MindSpore Insight, das die Modellarchitektur in Form eines Diagramms darstellen und auch verschiedene Aspekte dynamisch überwachen kann Änderungen an Indikatoren und Parametern machen den Entwicklungsprozess komfortabler.
01
Forschungshintergrund
In der digitalen Welt sind Datenschutz und Sicherheit zu Kernthemen geworden, die zunehmend Anlass zur Sorge geben. Vor diesem Hintergrund entstand Federated Learning als verteilte Methode des maschinellen Lernens, die den Datenschutz schützt. Ihre Kernidee besteht darin, mehreren Geräten oder Servern das gemeinsame Training eines Modells zu ermöglichen, ohne Originaldaten zu teilen. Dieser Ansatz kann maschinelle Lernaufgaben auf mehreren mobilen Geräten bewältigen, insbesondere wenn die Anforderungen an Datenschutz und Sicherheit hoch sind.
Beim föderierten Lernen muss ein wichtiges Problem gelöst werden: die Datenheterogenität. Dies bezieht sich normalerweise auf die Tatsache, dass die Daten, die von jedem am Lernen beteiligten Knoten (z. B. einem Gerät, einem Server oder einer Organisation) gespeichert werden, stark variieren können. Diese Unterschiede können Aspekte wie die Verteilung, Qualität, Quantität und Art der Merkmale der Daten betreffen. Das Problem der Datenheterogenität ist beim föderierten Lernen besonders wichtig, da es sich direkt auf den Lerneffekt und die Generalisierungsfähigkeit des Modells auswirken kann.
In diesem Artikel wird darauf hingewiesen, dass sich bestehende Lösungen im Hinblick auf die Datenheterogenität hauptsächlich auf alle privaten Daten aus derselben Domäne konzentrieren. Wenn verteilte Daten aus verschiedenen Domänen stammen, neigen private Modelle dazu, in anderen Domänen eine verminderte Leistung zu zeigen (mit Domänenoffsets), und globale Signale können keine umfassenden und fairen Domäneninformationen erfassen. Daher gehen die Autoren davon aus, dass das optimierte globale Modell während des föderierten Lernprozesses eine stabile Generalisierungsleistung in mehreren Domänen bereitstellen kann.
In diesem Artikel schlagen die Autoren „Federated Prototype Learning“ (FPL) für föderiertes Lernen unter Domänenverschiebung vor. Die Kernidee besteht darin, Cluster-Prototypen und unvoreingenommene Prototypen zu erstellen, die umfassendes Domänenwissen und faire Konvergenzziele bieten. Einerseits werden die Beispieleinbettungen weg von Cluster-Prototypen verschiedener Kategorien hin zu Cluster-Prototypen derselben Semantik verschoben. Andererseits wird die Konsistenzregulierung eingeführt, um lokale Instanzen mit entsprechenden unvoreingenommenen Prototypen abzugleichen.
Der Artikel führt Framework-Entwicklungen und Experimente auf der Grundlage von MindSpore durch. Experimentelle Ergebnisse wie Digits und Office Caltech-Aufgaben beweisen die Wirksamkeit der vorgeschlagenen Lösung und die Effizienz von Schlüsselmodulen.
02
Teamvorstellung
Huang Wenke, der Erstautor des Artikels, studiert derzeit für einen Master- und Doktorgrad an der Universität Wuhan (seit 2021) und seine Mentoren sind Professor Du Bo und Professor Ye Mang. Er schloss sein Bachelor-Studium an der Universität Wuhan ab. Zu seinen Forschungsschwerpunkten zählen föderiertes Lernen, Graphenlernen, Finanztechnologie usw. Derzeit hat er als Erstautor vier Artikel auf internationalen Top-Konferenzen wie CVPR, IJCAI und ACM MM veröffentlicht. Während seiner Postgraduiertenzeit gewann er Titel wie Guotai Junan Scholarship und Outstanding Graduate Student. War als Forschungspraktikant bei der Alibaba Group, Microsoft Research Asia usw. tätig.
Ye Mang , der korrespondierende Autor des Artikels, ist Professor und Doktorvater an der Fakultät für Informatik der Universität Wuhan, ein hochkarätiger Nachwuchstalent auf nationaler Ebene und ein von der China Association for Science and Technology empfohlener Jugendkandidat. Er war als Forschungswissenschaftler am Emirates Origin Artificial Intelligence Research Institute und als Gastwissenschaftler an der Columbia University in den Vereinigten Staaten tätig. Zu seinen Hauptforschungsrichtungen gehören Computer Vision, Multimedia Retrieval, föderiertes Lernen usw. Er hat mehr als 80 Artikel in internationalen Fachzeitschriften und Konferenzen veröffentlicht, 10 häufig zitierte ESI-Artikel und wurde von Google Scholar mehr als 5.600 Mal zitiert. Diente als Feldvorsitzender akademischer Konferenzen wie CVPR24 und ACM MM23. Veranstaltet wissenschaftliche Forschungsprojekte wie den Hubei Provincial Key R&D Plan und die National Natural Science Foundation of China. Gewann das Google Excellent Scholarship, Champion des Tracks zur Neuidentifizierung von Drohnenzielen auf der ICCV2021, der wichtigsten internationalen Computer-Vision-Konferenz, „Top 2 % der weltbesten Wissenschaftler“ in der Stanford-Rangliste 2021–2022 und Baidu AI Chinese Young Scholar 2022. .
Das Forschungsteam MARS wird von Professor Ye Mang geleitet und konzentriert sich auf Überwachungsvideo-Fußgänger-/Verhaltensanalysen, unbeaufsichtigtes/halbüberwachtes Lernen, modalübergreifendes Verstehen und Denken sowie föderiertes Lernen.
03
Einführung in die Arbeit
3.1 Einführung
Basierend auf dem oben genannten Forschungshintergrund schlägt dieses Papier Federated Prototype Learning vor, um das Problem der föderierten Multidomänen-Verallgemeinerung zu lösen: Private Daten stammen aus verschiedenen Bereichen und verschiedene Clients weisen stark unterschiedliche Merkmalsverteilungen auf, da das lokale Modell durch Überanpassung an die lokale Verteilung angepasst wird , das private Modell funktioniert in anderen Domänen nicht gut. Beispielsweise kann ein lokales Modell A, das auf Graustufenbildern MNIST trainiert wurde, nach der Aggregation durch den Server auf einem anderen Client wie dem Farbbild-SVHN-Datensatz nicht normal funktionieren, da dieses lokale Modell A keine SVHN-Domäneninformationen lernen kann, was zu Leistungseinbußen führt Degradierung.
Da das globale Signal keine Wissensinformationen in mehreren Feldern darstellen kann und möglicherweise auf Informationen im dominanten Feld ausgerichtet ist, ist die Generalisierungsfähigkeit verringert. Damit das Modell umfangreiches Wissen über mehrere Domänen erlernen und gemeinsame Signale verwenden kann, um Informationen in mehreren Domänen bereitzustellen und so die Generalisierungsfähigkeiten zu verbessern, wird in diesem Artikel vorgeschlagen, Cluster-Prototypen zur Darstellung von Informationen in verschiedenen Domänen zu verwenden und kontrastives Lernen zu verwenden, um die Gemeinsamkeit zu verbessern Die gleichen Kategorien in verschiedenen Domänen und die Verbesserung der Unterschiede zwischen verschiedenen Kategorien, genannt Cluster-Prototypen, kontrastives Lernen, um eine Optimierung in Richtung der potenziell dominanten Domäne zu vermeiden und die Fähigkeit in einigen Domänen zu verbessern, werden in diesem Artikel unvoreingenommene Prototypen verwendet, um faire und stabile Ergebnisse zu erzielen Informationen, die als unvoreingenommene Prototypkonsistenz-Regularisierung (Unbiased Prototypes Consistent Regularization) bezeichnet werden.
3.2 Methode
3.2.1 Vorbereitung
föderiertes Lernen
In einer typischen föderierten Lernumgebung gibt es Teilnehmer und ihre entsprechenden privaten Daten, ausgedrückt als:
Darunter ist die lokale Datenskala. In einer heterogenen föderierten Lernumgebung
variiert die Verteilung bedingter Merkmale zwischen den Teilnehmern, selbst wenn
sie konsistent ist, was zu einer Domänenverschiebung führt. Definieren Sie den Domänenoffset wie folgt:
Dies bedeutet, dass es in den privaten Daten einen Domänenoffset gibt. Insbesondere gibt es für denselben Etikettenraum eindeutige Merkmalsverteilungen zwischen verschiedenen Teilnehmern.
Abbildung 1 Die lokale Client-Datenquellendomäne ist unterschiedlich und der Unterschied ist groß.
Darüber hinaus erzielen alle Teilnehmer einen Konsens und teilen ein Modell mit derselben Architektur. Dieses Modell kann als zwei Hauptteile betrachtet werden: Merkmalsextraktor und Klassifikator. Der Merkmalsextraktor, bezeichnet als , kodiert die Probe x in
einen eindimensionalen Merkmalsvektor im Merkmalsraum, ausgedrückt als:
Der Klassifikator ordnet Features der Logits-Ausgabe zu , die in nachfolgenden Formeln
die Klassifizierungskategorien darstellt. Das Optimierungsziel besteht darin, durch den föderierten Lernprozess ein verallgemeinerbares globales Modell mit guter Leistung in mehreren Domänen zu lernen.
Feature-Prototyp
Um nachfolgende prototypbezogene Methoden zu implementieren, erstellt dieser Artikel zunächst die Definition des Prototyps:
Der Prototyp, der die Beschriftung des Client-th darstellt , wird durch Berechnen des Durchschnitts der Merkmalsvektoren aller Stichproben mit der Beschriftung des Client-th erhalten, der intuitiv die Domäneninformationen darstellt, die durch die Beschriftung dieses Clients dargestellt werden.
Wenn Sie die Methode in diesem Artikel zunächst ignorieren, besteht die allgemeinste Methode darin, die Domäneninformationen aller Tags aller Clients direkt zu mitteln , alle Clients diese Informationen lernen zu lassen und lokale Client-Updates einzuschränken:
Dies stellt
die durchschnittlichen Domäneninformationen aller Stichproben aus verschiedenen Feldern mit der Bezeichnung „as“ im gesamten Verbundsystem dar. Eine solche globale Sichtweise ist jedoch voreingenommen und kann Informationen in verschiedenen Feldern nicht korrekt darstellen. Sie kann auch auf dominante Felder ausgerichtet sein und einige Felder ignorieren, wie in Abbildung 2a dargestellt.
Abbildung 2 Darstellung verschiedener Prototypentypen
3.2.2 Cluster-Prototyp vergleichendes Lernen
Um das Problem globaler Prototypen zu lösen, verwendet dieser Artikel zunächst die FINCH-Methode für unbeaufsichtigtes Clustering, um umfangreiches Domänenwissen (Merkmalsvektoren jeder Probe) unbeaufsichtigt zu trennen. Auf diese Weise haben Proben aus verschiedenen Domänen ihre eigenen Bei Merkmalsvektoren werden verschiedene Felder in verschiedene Cluster geclustert, und dann wird der Prototyp dieses Clusters innerhalb desselben Clusters berechnet, wie in Abbildung 2b dargestellt, um zu verhindern, dass mehrere Domänen nach gegenseitiger Mittelung weit von allen nützlichen Domänenkenntnissen entfernt sind .
In der obigen Formel stellt es den Satz von Cluster-Prototypen von Labels dar
, die geclustert wurden .
Auf dieser Grundlage implementiert dieser Artikel das vergleichende Lernen von Cluster-Prototypen durch Hinzufügen eines neuen Verlustterms. Für eine Stichprobe, die zu einer bestimmten Stichprobe gehört
, lautet ihr Merkmalsvektor
. In diesem Artikel wird versucht,
den Abstand zwischen der Stichprobe und allen Prototypen, die zur gleichen Semantik gehören, so weit wie möglich zu verkürzen oder die Ähnlichkeit unter derselben zu verbessern Gleichzeitig wird die Ähnlichkeit mit allen Prototypen, die nicht zu
(markiert als
) gehören, so weit wie möglich reduziert. Durch diese Methode wird während der lokalen Aktualisierung umfangreiches Wissen erlernt und die Generalisierungsfähigkeit verbessert verbessert. Der Autor definiert die Ähnlichkeit zwischen dem Beispielmerkmalsvektor und dem Prototyp als:
Konstruieren Sie dann den Verlustterm, der das vergleichende Lernen des Cluster-Prototyps implementiert:
Warum funktioniert dieser Ansatz? Der Autor gibt die folgende Analyse:
Die Minimierung dieser Verlustfunktion ist gleichbedeutend damit, den Beispiel-Merkmalsvektor näher an den zugewiesenen positiven Cluster-Prototyp heranzuführen und den Merkmalsvektor von anderen negativen Prototypen wegzubewegen
. Dadurch wird nicht nur die Invarianz gegenüber verschiedenen Domänenverzerrungen aufrechterhalten, sondern auch die Diffusionseigenschaften der Semantik verbessert, wodurch sichergestellt wird, dass der Merkmalsraum sowohl verallgemeinerbar als auch diskriminierend ist, wodurch eine zufriedenstellende Generalisierungsleistung beim föderierten Lernen erreicht wird.
3.2.3 Unvoreingenommene Regularisierung der Prototypenkonsistenz
Da Cluster-Prototypen beim Domänentransfer vielfältiges Domänenwissen in die Plastizität einbringen, werden Cluster-Prototypen jedoch aufgrund der unbeaufsichtigten Clustering-Methode bei jeder Kommunikation dynamisch generiert und ihr Maßstab ändert sich. Daher kann der Cluster-Prototyp in verschiedenen Kommunikationsepochen keine stabile Konvergenzrichtung bereitstellen. In diesem Artikel wird eine zweite Methode vorgeschlagen, um eine nachhaltige Multi-Domänen-Fairness sicherzustellen, indem ein fairer und stabiler unvoreingenommener Prototyp erstellt und der Abstand zwischen mehreren Cluster-Prototypen und dem unvoreingenommenen Prototyp eingeschränkt wird.
Insbesondere werden mehrere geclusterte Cluster-Prototypen unter derselben Bezeichnung gemittelt, um das unvoreingenommene Konvergenzziel unter der Bezeichnung darzustellen , wie in Abbildung 2c dargestellt.
In diesem Artikel wird ein zweiter Verlustterm eingeführt und der Konsistenz-Regularisierungsterm verwendet, um den Merkmalsvektor der Stichprobe näher an den entsprechenden unverzerrten Prototyp zu bringen und so einen relativ fairen und stabilen Optimierungspunkt zur Lösung des Problems der Konvergenzinstabilität bereitzustellen:
3.2.4 Gesamtalgorithmus
Zusätzlich zu den beiden oben genannten Verlusten wird die im herkömmlichen Modelltraining verwendete Kreuzentropieverlustfunktion als Verlustfunktion des in diesem Artikel vorgeschlagenen föderierten Prototyplernens verwendet:
Lernprozess:
Algorithmus :
04
Experimentelle Ergebnisse
4.1 Vergleich mit experimentellen Ergebnissen des Standes der Technik
Dieser Artikel wurde unter den Datensätzen Digits und Office Caltech getestet. Ersteres ist ein digitaler Datensatz mit vier identischen Labels und unterschiedlichen Datenquellen, und letzterer ist ein realer Datensatz mit vier gleichen Labels und unterschiedlichen Datenquellen. Experimente zeigen, dass die vorgeschlagene FPL sowohl hinsichtlich der Leistung in einem einzelnen Feld als auch der durchschnittlichen Leistung in mehreren Feldern besser ist als die aktuelle SOTA.
4.2 Ablationsexperiment
Es ist ersichtlich, dass CPCL und UPCR in den meisten Fällen zusammenarbeiten, um eine bessere Leistung zu erzielen.
Der Vergleich der experimentellen Ergebnisse der beiden Methoden unter Verwendung gewöhnlicher globaler Prototypen und des vorgeschlagenen Prototyps zeigt die Wirksamkeit von Cluster-Prototypen und unvoreingenommenen Prototypen.
4.3 MindSpore-Codeanzeige
Dieses Framework wurde auf Basis von MindSpore entwickelt.
4.3.1 MindSpore implementiert vergleichendes Lernen von Cluster-Prototypen
def calculate_infonce(self, f_now, label, all_f, all_global_protos_keys):
pos_indices = 0
neg_indices = []
for i, k in enumerate(all_global_protos_keys):
if k == label.item():
pos_indices = i
else:
neg_indices.append(i)
f_pos = Tensor(all_f[pos_indices][0]).reshape(1,512)
f_neg = ops.cat([Tensor(all_f[i]).reshape(-1, 512) for i in neg_indices], axis=0)
#aaa
f_proto = ops.cat((f_pos, f_neg), axis=0)
f_now = f_now.reshape(1,512)
f_now_np = f_now.asnumpy()
f_proto_np = f_proto.asnumpy()
def cosine_similarity_numpy(vec_a, vec_b):
dot_product = np.dot(vec_a, vec_b.T)
norm_a = np.linalg.norm(vec_a, axis=1, keepdims=True)
norm_b = np.linalg.norm(vec_b, axis=1)
return dot_product / (norm_a * norm_b)
l_np = cosine_similarity_numpy(f_now_np, f_proto_np)
l = Tensor(l_np)
#l = ops.cosine_similarity(f_now, f_proto, dim=1)
l = ops.div(l, self.infoNCET)
exp_l = ops.exp(l).reshape(1, -1)
pos_num = f_pos.shape[0]
neg_num = f_neg.shape[0]
pos_mask = Tensor([1] * pos_num + [0] * neg_num).reshape(1, -1)
pos_l = exp_l * pos_mask
sum_pos_l = ops.sum(pos_l, dim=1)
sum_exp_l = ops.sum(exp_l, dim=1)
infonce_loss = -ops.log(sum_pos_l / sum_exp_l)
return Tensor(infonce_loss)
4.3.2 MindSpore realisiert eine unvoreingenommene Regularisierung der Prototypenkonsistenz **
def hierarchical_info_loss(self, f_now, label, mean_f, all_global_protos_keys):
pos_indices = 0
for i, k in enumerate(all_global_protos_keys):
if k == label.item():
pos_indices = i
mean_f_pos = Tensor(mean_f[pos_indices])
f_now = Tensor(f_now)
cu_info_loss = self.loss_mse(f_now, mean_f_pos)
return cu_info_loss
4.3.3 Lokales Modelltraining des Kunden
def _train_net(self, index, net, train_loader):
if len(self.global_protos) != 0:
all_global_protos_keys = np.array(list(self.global_protos.keys()))
all_f = []
mean_f = []
for protos_key in all_global_protos_keys:
temp_f = self.global_protos[protos_key]
all_f.append(copy.deepcopy(temp_f))
mean_f.append(copy.deepcopy(np.mean(temp_f, axis=0)))
all_f = [item.copy() for item in all_f]
mean_f = [item.copy() for item in mean_f]
else:
all_f = []
mean_f = []
all_global_protos_keys = []
optimizer = nn.SGD(net.trainable_params(), learning_rate=self.local_lr, momentum=0.9, weight_decay=1e-5)
criterion1 = nn.SoftmaxCrossEntropyWithLogits(sparse=True, reduction='mean')
criterion = CustomLoss(criterion1, self.loss2)
self.loss_mse = mindspore.nn.MSELoss()
train_net= nn.TrainOneStepCell(nn.WithLossCell(net,criterion), optimizer=optimizer)
train_net.set_train(True)
iterator = tqdm(range(self.local_epoch))
for iter in iterator:
agg_protos_label = {}
for di in train_loader.create_dict_iterator():
images = di["image"]
labels = di["label"]
# train_net.set_train(False)
f = net.features(images)
#train_net.set_train(True)
if len(self.global_protos) == 0:
loss_InfoNCE = 0
else:
i = 0
loss_InfoNCE = None
for label in labels:
if label in all_global_protos_keys:
f_now = f[i]
cu_info_loss = self.hierarchical_info_loss(f_now, label, mean_f, all_global_protos_keys)
xi_info_loss = self.calculate_infonce(f
05
Zusammenfassung und Ausblick
In diesem Artikel untersuchen wir die Generalisierungs- und Stabilitätsprobleme beim Domänentransfer beim heterogenen föderierten Lernen. Unsere Studie stellt einen einfachen, aber effektiven Verbundlernalgorithmus vor, nämlich Federated Prototype Learning (FPL). Wir verwenden Prototypen (kanonische Darstellungen von Klassen), um diese beiden Probleme zu lösen, und genießen dabei die komplementären Vorteile von Cluster-Prototypen und unvoreingenommenen Prototypen: vielfältiges Domänenwissen und stabile Konvergenzsignale. Wir haben das FPL-Framework mithilfe der Sunthink MindSpore-Architektur implementiert und seine Vorteile in Bezug auf Effizienz und Genauigkeit demonstriert.
Als wir Shengsi MindSpore zur Entwicklung des FPL-Frameworks verwendeten, stellten wir fest, dass die Shengsi MindSpore-Community sehr aktiv ist und viele Huawei-Entwickler und -Benutzer große Hilfe bei den Schwierigkeiten geleistet haben, auf die wir beim Aufbau des Frameworks gestoßen sind. Darüber hinaus haben wir mit der umfangreichen Dokumentation und den Tutorials von MindSpore sowie tatsächlichen Fällen und Best Practices in der Community viele potenzielle Fallstricke vermieden und unsere Forschungsziele schneller erreicht.
Ein in den 1990er Jahren geborener Programmierer hat eine Videoportierungssoftware entwickelt und in weniger als einem Jahr über 7 Millionen verdient. Das Ende war sehr bestrafend! Google bestätigte Entlassungen, die den „35-jährigen Fluch“ chinesischer Programmierer in den Flutter-, Dart- und Teams- Python mit sich brachten stark und wird von GPT-4.5 vermutet; Tongyi Qianwen Open Source 8 Modelle Arc Browser für Windows 1.0 in 3 Monaten offiziell GA Windows 10 Marktanteil erreicht 70 %, Windows 11 GitHub veröffentlicht weiterhin KI-natives Entwicklungstool GitHub Copilot Workspace JAVA ist die einzige starke Abfrage, die OLTP+OLAP verarbeiten kann. Dies ist das beste ORM. Wir treffen uns zu spät.