OpenAI藉由微調GPT-3模型來生成整本書合理的摘要，其品質甚至能夠與人工編寫的摘要品質相比擬。這項研究最終目的是要解決機器學習的對應問題（Alignment Problem）
#看更多 https://www.ithome.com.tw/news/146876
摘要生成器 在 iThome Facebook 的精選貼文
摘要生成器 在 Facebook 的最佳貼文
四兩撥千斤！ 創新工場首席科學家AI大牛周明博士率瀾舟團隊刷新CLUE新紀錄，輕量化模型孟子一鳴驚人！
本週，中文語言理解權威評測基準CLUE榜單，被「低調」刷新。
不同的是，不是大公司、不是超大模型……
一個新面孔，一個輕量化模型，首戰即登頂，四兩撥千斤。
CLUE榜單近年來由巨頭——騰訊、搜狗、華為、阿里達摩院輪番霸榜的格局，被首次打破。
瀾舟科技-創新工場推出的孟子模型，以十億參數完成了此前百億、千億參數模型刷新的紀錄。
這也是瀾舟科技首次對外曝光，背後團隊負責人，正是創新工場首席科學家、全球AI大牛周明博士。以下文章解釋了這個模型的原理，文章來自《量子位》微信公眾號，經授權轉載。
▎輕量化模型孟子？
孟子，基於瀾舟團隊自研技術研發的大規模預訓練語言模型。
包括創新工場、上海交通大學、北京理工大學等單位參與聯合研發。
可處理多語言、多模態數據，同時支持多種文本理解和文本生成任務，能快速滿足不同領域、不同應用場景的需求。
孟子模型基於Transformer架構，僅包含十億參數量，基於數百G級別涵蓋互聯網網頁、社區、新聞、電子商務、金融等領域的高質量語料訓練。
但誰也沒想到，小模型卻有大智慧，一經登場，打破格局。
CLUE，中文語言理解領域最具權威性的測評基準，涵蓋文本相似度、分類、自然語言推理、閱讀理解等共10項語義分析和理解類子任務。
該榜單競爭激烈，幾乎是業內所有自然語言理解玩家必爭之地。
騰訊、搜狗、華為、阿里達摩院等更是輪番霸榜刷新紀錄。
而且隨著大參數模型愈演愈烈，CLUE還漸有巨頭壟斷之勢。
因為百億、千億甚至萬億參數的大模型，已然不再是創業或其他玩家可與之爭鋒。
萬萬沒想到，瀾舟科技-創新工場團隊出手，四兩撥千斤。
因為孟子，走的是基於輕量級、高效訓練的研究路線，致力於構建十億級別的小模型，充分發揮已有參數下的模型潛力，有利於快速、低成本地落地現實業務場景。
孟子預訓練模型性能比肩甚至超越千億大模型，在包含文本分類、閱讀理解等各類任務上表現出色。
相對已有的中文語言模型，孟子模型實現了多項突破性進展：
1） 堅持「小而精」的輕量化訓練策略。實現在同等模型規模下，遠超公開模型的性能。作為精巧的小模型，對標「巨無霸」，小模型性能超越千億規模模型。
2）使用知識圖譜增強模型，讓 AI 真正獲得知識。孟子模型具備頂尖的語言理解能力，在權威CLUE中文理解評測的總排行榜，以及分類排行榜和閱讀理解排行榜均位列第一，刷新三項榜單世界紀錄。總排行榜分數突破84分，逼近人類基準分數（85.61）。
3）靈活的領域和場景適應能力，方便快速定制和應用。基於T5-style的端到端生成的訓練範式，同步適配BERT-style的判定式架構，既能理解也能生成。便於適配行業應用，覆蓋廣泛業務場景。
當然，隨著孟子一鳴驚人，也必然能讓輕量化模型研究來到聚光燈下。
▎原理方法和應用？
在輕量化模型算法研究方面，基於自研的基於語言學知識、知識圖譜和領域數據增強等技術，從模型架構（包括基礎層Embedding表示和交互層Attention機制）到預訓練策略進行了全方位改進。
具體有四方面：
1) 模型結構方面，將語義角色、詞性標註等語言學特徵融合到Embedding表示中，基於句法約束引入註意力機制中，從而提升模型對語言學知識的建模能力。
2) 訓練策略上，引入基於實體知識和Discourse的Mask機制，強化模型對語言成分和語篇關係的表徵。
3) 為進一步提高訓練效率，使用了大模型蒸餾和初始化小模型策略。
4) 為更好地將孟子模型適應垂直領域如金融、營銷，使用了領域數據繼續訓練並構造相應的提示模版（Prompt），取得了明顯的性能提升。
基於以上算法策略，實現從語料中高效學習涵蓋詞級、句子級和語篇級知識，大幅提升語言模型提煉語言結構和語義信息能力，以及良好的領域遷移能力，適應廣泛的產品應用場景。
另外，在Finetune的進展方面，如何將預訓練模型用於各項任務？
瀾舟團隊也有總結，從數據增強、知識蒸餾、遷移訓練、訓練優化等方面展開了一些探索，進一步提升語言模型的性能：
1) 數據增強：使用領域相關數據；
2) 知識蒸餾：基於Teacher-Student自蒸餾提升訓練效率；
3) 遷移訓練：結合課程學習的思想，由易到難訓練下游模型；
4) 訓練優化：使用多種訓練目標，多角度提升模型能力；
而且孟子還已經展開了垂直化領域應用。
基於領域適應技術，孟子模型已深度垂直化賦能相應行業。典型的例子為適用於金融領域的孟子模型，領域適應策略主要包含兩大方面：
1) 通過大規模的泛金融領域語料，將通用孟子模型遷移到金融領域。金融版孟子模型已經應用於多個金融行業的合作企業，在金融知識圖譜搭建、脫水研報、公告抽取等多個任務上獲得了出色的表現。
2) 通過大規模的營銷領域語料，將孟子模型遷移到數字營銷領域，完成了營銷文案生成、新聞摘要等多項任務，將用於行業頭部的數字營銷公司和多個世界五百強企業的合作之中。
瀾舟方面還透露，孟子模型已在多個領域成功落地實踐，衍生出多項行業領先的產品，涵蓋文本生成、行業搜索、機器翻譯等諸多領域。
並且毫無疑問的是，因為輕量級模型具有的模型參數較少、快速推斷的特點，更易於線上部署和推廣到移動設備中，自然不會局限於現有應用和場景，接下來還會有更廣泛的研究和應用場景中。
▎瀾舟團隊？
最後，也簡單介紹本次一鳴驚人的新面孔瀾舟科技。
瀾舟科技是創新工場孵化的一家認知智能公司。公司創始人——周明博士。
AI領域內，周明已不用過多介紹，他是公認的世界級AI科學家，自然語言處理領域的代表性人物。
周明博士在2020年加盟創新工場，擔任創新工場首席科學家。
而瀾舟科技則針對商業場景的數字化轉型，基於大數據、知識圖譜和行業模型，提供新一代的信息檢索、知識推理和商業洞見技術和相關產品。
據稱目前已與國內外幾十所著名高校和十餘個相關領域的頭部企業建立了穩定的合作關係。
值得注意的是，瀾舟科技除了大牛坐鎮，其實也是行業趨勢的體現。
引用創新工場董事長兼CEO李開復最新分享來說：
AI的發展可以按照兩個時間點劃分。
第一個時間點是2015年，以CNN為核心的計算機視覺技術讓機器超越了人類，帶來了人臉識別、智能質檢、無人零售、智慧城市、無人駕駛等商機。
而第二個時間點出現在2019年，以大模型為代表的自然語言方向取得突破性進展，讓NLP從數據、信息走向知識和洞見成為可能，將會在翻譯、語音識別、法律、金融、新聞、廣告、醫療、娛樂等大賽道帶來機遇。
「如果說CNN造就了今天計算機視覺領域的突破和眾多應用，預訓練大模型+微調也將帶來自然語言的百花齊放的發展，用數據智能驅動各類業務的升級。瀾舟科技在周明老師的帶領下取得了今天的成果，在新機遇面前躬身入局，一起發掘NLP領域的黃金發展期」，李開復說到。
摘要生成器 在 國家衛生研究院-論壇 Facebook 的最佳貼文
➥【器官移植受者對單一劑SARS-CoV-2 Messenger RNA疫苗的免疫生成反應】：在SARS-CoV-2 mRNA疫苗的臨床試驗中，受試者排除了免疫功能低下的患者，而無從得知疫苗對這些族群的保護力。
此類患者對疫苗的免疫反應可能會減弱，因此即使在接種疫苗後仍有被感染的風險。本文是來自約翰霍普金斯大學的學者為了瞭解mRNA疫苗在免疫缺損個體中的免疫原性，對器官移植接受者施打第一劑疫苗後進行體液反應分析的報告。
■方法：
此一前瞻性研究是透過社交媒體招募美國各地的移植接受者，其中包括在2020年12月16日至2021年2月5日之間接受SARS-CoV-2疫苗接種者。
TAPII 採血器所採的血液樣本使用酵素免疫測定法（EUROIMMUN）進行檢測。該抗體檢測的是針對SARS-CoV-2棘蛋白S1結構的抗體。另外靜脈穿刺血液樣品則使用抗SARS-CoV-2酵素免疫測定法（Roche Elecsys）測試針對SARS-CoV-spike蛋白受體結合域（receptor-binding domain，RBD）的抗體。
兩種測試都是半定量的，並且可反應中和性免疫力。酵素免疫法的靈敏度和特異性非常出色，可檢測出對SARS-CoV-2感染的抗棘蛋白體液反應（EUROMUMUN3的靈敏度為87.1%，特異性為98.9%。
Roche Elecsys的靈敏度為84.0%，特異性為100%），並且類似於在mRNA疫苗臨床試驗中進行免疫原性評估時使用的檢測方法。作者分析人口統計學、臨床特徵、疫苗類型和陽性抗體反應之間的關聯。疫苗類型的敏感性分析僅限於在接種疫苗後14到21天進行測試。
■結果：
研究共計436名移植接受者，沒有人曾被PCR檢測確診感染COVID-19。年齡中位數為55.9歲，女性佔61%，白人移植患者為89%；52%的人接種BNT162b2疫苗（Pfizer-BioNTech），48%的人接種RNA-1273疫苗（Moderna）。
自移植以來的中位時間為6.2年。在首劑疫苗接種後的中位數20天中，436名參與者中的76名參與者（17%）可檢測到抗體（抗S1或RBD）。
移植接受者中使用「抗代謝」型藥物免疫抑制療法比未接受該類免疫抑制療法者產生抗體的反應更低（分別為37%和63%，P <0.001）。年齡較大的移植接受者產生抗體反應也較低。可檢測到抗體反應的受試者中，施打mRNA-1273疫苗的比例明顯高於施打BNT162b2疫苗（分別為69%和31%，P = 0.003）。
■結論：
1.年輕的器官移植接受者、未使用「抗代謝」型藥物免疫抑制療法、施打mRNA-1273疫苗者比較容易產生抗體反應。
2.大多數參與研究的器官移植接受者施打一劑mRNA疫苗後，無法產生顯著的抗體反應。
與mRNA疫苗試驗中觀察到很強大的...完整轉譯文章，詳連結：http://forum.nhri.org.tw/covid19/virus/j_translate/j2575/ ( 財團法人國家衛生研究院 齊嘉鈺醫師摘要整理)
📋 JAMA - 2021-03-15
Immunogenicity of a Single Dose of SARS-CoV-2 Messenger RNA Vaccine in Solid Organ Transplant Recipients
■ Author：Brian J. Boyarsky, William A. Werbel, Robin K. Avery, et al.
■ Link：https://jamanetwork.com/journals/jama/fullarticle/2777685
〈 國家衛生研究院-論壇 〉
➥ COVID-19學術資源-轉譯文章 - 2021/04/13
衛生福利部
疾病管制署 - 1922防疫達人
疾病管制署
摘要生成器 在 Information-summary - 文件信息摘要生成器 - GitHub 的推薦與評價
文件信息摘要生成器. Contribute to xingchuanzhen/Information-summary development by creating an account on GitHub. ... <看更多>
摘要生成器 在 文本摘要- 郑之杰的个人网站 的推薦與評價
生成 式文本摘要生成的框架是序列到序列模型（seq2seq），也就是编解码(encoder-decoder)结构。 编码器和解码器分别由循环神经网络构成，普遍的做法是：. ... <看更多>