科大讯飞 - 基于论文摘要的文本分类与关键词抽取挑战赛（DataWhale-Camp）

这里聊聊如何入门NLP比赛，一些方法，一些技巧，一些思考

计算出每个词的 TF-IDF 值后，使用 TF-IDF 计算得到的数值向量替代原文本即可实现基于 TF-IDF 的文本特征提取。这里将对应的文本token转化为vector，方便后面进行计算，这里的CountVectorizer()使用的是BOW模型，所以编码后的维度应该是词表的大小。IDF 指 inverse document frequence，即逆文档频率，指包含某个词的文档数占语料库总文档数的比例。当然这还没完，之前的CountVectorizer()是基于BOW模型的。结果也会有显而易见的提高。

总的来说，感觉还是对自己的代码能力有一个提高，虽然都是用chatgpt、newbing搜的，对pandas有了新的认识，模型和tokenizer也有了更加新的认识，map函数的含义也还是不太清楚，等下把训练代码贴出来，为大家打个底，由于是第一次，所以使用的是jupyternotebook。参加了基于论文摘要的文本分类与关键词抽取挑战赛，第一次参加比赛，对所有问题都不太清楚，一步一步用chatgpt搜的相关代码，一点一点做的。不知道为什么，用别的模型进行训练，得到的效果都不是太好，生成提交的.csv文件。

本文对ChatGLM-6B模型进行简单尝试，稍许改造即能满足文本抽取场景的使用，使用成本低于chatgpt，支持本地部署，单卡成本低于openai。

jieba-基于 TF-IDF 算法的关键词抽取 通过上述三篇文章的介绍（详见其他的博客），接下来将对TF-IDF算法的实现进行介绍。 jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=()) sentence 为待提取的文本 topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20 ...

Abstract：TF-IDF算法是一种常用的词频统计方法，常被用于关键词提取、文本摘要、文章相似度计算等。1.TF-IDF的算法思路TF词频（Text Frequency）：统计出现次数最多的词IDF逆文档频率（Inverse Document Frequency）：大小与一个词的常见程度成反比；即给某些词分配“重要性”权重（平时比较少见而在这篇文章里多次出现的词应给予较高权重，而平时也很常见的...

自然语言处理[信息抽取]：MDERank关键词提取方法及其预训练模型----基于嵌入的无监督 KPE 方法 MDERank

def predict(text) : input = f"判断是否医学论文: {def predict(text) : input = f"判断是否医学论文: {def predict(text) : input = f"判断是否医学论文: {封装预测逻辑在一个函数中。根据输入文本构造prompt输入,调用模型生成响应。将模型输出返回。ChatGLM2-6B是一个基于Transformer架构预训练的巨大语言模型,它通过在大规模文本语料上进行自监督学习,获得了强大的语言理解和生成能力。

向量数据库是一种特殊类型的数据库，它用于存储和处理向量数据。向量数据库的主要特点是能够高效地执行向量空间中的搜索和比较操作，比如最近邻搜索（nearest neighbor search）。向量数据库在许多领域都有应用，包括机器学习、人工智能、计算机视觉和自然语言处理等。M3E Models ：Moka（北京希瑞亚斯科技）开源的系列文本嵌入模型。

import numpy as np import pandas as pd from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, confusion_matrix from k...

Android studio调用科大讯飞的关键字提取功能一、介绍二、Android studio通过访问科大讯飞的API实现关键词提取功能三、结果展示 一、介绍 我是在Android studio调用科大讯飞的语音转文字功能的基础上将识别出来的文字进行了关键词提取，Android studio调用科大讯飞的语音转文字功能可以参考我的这篇博客：https://blog.csdn.net/m0_47121562/article/details/123213166 在科大讯飞中找到“关键词提取”，由于没有提供SD

算法具体原理我会放在下一篇文章，本文重点在应用，这里不详细介绍了将每个句子看成图中的一个节点，若两个句子之间有相似性，认为对应的两个节点之间有一个无向有权边，权值是相似度。通过pagerank算法计算得到的重要性最高的若干句子可以当作摘要。智谱AI是一家诞生于清华大学计算机系,以技术转化成果为基础的公司,专注于研发和提供新一代的认知智能通用模型。ChatGLM，清华技术成果转化的公司智谱AI研发的支持中英双语的对话机器人。开发文档获取api-key。

BERT-WWM对Bert的改进主要体现在mask的方式上，使用全词mask。其改进点如下：BERT-WWM不仅仅是连续mask实体词和短语，而是连续mask所有能组成中文词语的字。具体做法是，针对中文，如果一个完整的词的部分字被mask，则同属该词的其他部分也会被mask，即对组成同一个词的汉字全部进行Mask，即为全词Mask。这样做的目的是：预训练过程中，模型能够学习到词的语义信息，训练完成后字的embedding就具有了词的语义信息了，这对各类中文NLP任务都是友好的。

ChatGLM + LoRA 进行finetune

LLM的水平与训练时所用的数据集的质量强相关。 在LoRA本地微调ChatGLM-6B模型时，刚开始采用网上的包含较少数据的数据集，LoRA微调前后的效果对比不明显。

CHATGLM的lora微调，包含简单的原理讲解和代码