[Artigo] [PLN#11] MAZEA - Multi-label Sentence Classifiers and their Anotated Corpora

Título original: Rethorical Move Detection in English Abstracts: Multi-label Sentence Classifiers and their Annotated Corpora

Autores: Carmem Dayrell, Arnaldo Candido Jr, Gabriel Lima, Danilo Machado Jr., Ann Copestake, Valéria D. Feltrim, Stella Tagnin, Sandra Aluisio.

Acesse o trabalho original aqui.


Resumo

A relevância de automaticamente identificar movimentos na retórica de textos científicos foi amplamente reconhecido na literatura. Este estudo foca em resumos de artigos comuns escritos em inglês e busca corrigir algumas limitações fundamentais dos classificadores de aprendizados de máquina: eles são mono etiquetados, ou seja, uma sentença só pode ser classificada em uma única classificação. Entretanto, esta iniciativa não reflete adequadamente o uso da língua, visto que um movimento pode ser percebido por uma cláusula, uma sentença ou ainda um conjunto de sentenças. 
Neste artigo apresentamos o MAZEA (Multi-label Argumentative Zoning for English Abstracts), um classificador multi-etiquetas que automaticamente identifica movimentos retóricos em resumos mas permite que para uma sentença dada que possa ser associado a várias etiquetas apropriadas. Nós buscamos várias outras ferramentas de PLN e usamos para treinar nosso corpus: (i) um corpus consiste em 645 resumos de ciências físicas e engenharia (PE) e (ii) o outro corpus é feito de 690 resumos de ciências das saúdes (LH). Este artigo apresenta nossos resultados preliminares e também discutem os vários desafios envolvidos na construção de um classificador multi-etiqueta e o trabalho por soluções satisfatórias. Além disso, nós também fizemos nossos dois corpos de treinamento disponível para que outros pesquisadores possam utilizá-lo para outras pesquisa. 

1. Introdução 

A relevância de identificar movimentos retóricos em textos científicos têm sido amplamente reconhecido na literatura. Isto é causado principalmente por que os movimentos retóricos são vistos como elemento crucial na organização e estrutura dos textos e  com elas podem desempenhar um papel fundamental nas pedagogias baseadas em gênero e ferramentas de escrita. Por movimento, nos referimos a "um discurso ou unidade retórica que realiza uma comunicação coerente função em um discurso escrito ou falado "(Swales, 2004:228)

Um dos maiores desafios da investigação dos movimentos retóricos é que a anitação manual tende a ser subjetiva e consome bastante tempo. Não é surpresa, que muitos esforços tem sido feitos para resenvolver sistemas para desenvolver sistemas que automaticamente identificar movimentos retóricos em textos científicos. Alguns sistemas (por exemplo, Teufel & Moens, 2002; Feltrim et al, 2006; Genovês et al. 2007) adotam uma abordagem linguística, ou seja, eles fazem uso de um conjunto linguístico rico de características que cobrem aspectos léxicos, sintáticos e aspectos estruturais. Exemplos dessas características incluem: Tempo verbal/humor/voz, perfis semânticos de verbos, negação e marcadores de posição. Outros sistemas são Linguagem independente e recurso a um saco de clusters com N-gramas e métodos estatísticos. (e.g. Anthony & Lashkia, 2003; Pendra & Cotos, 2008).

O presente estudo segue uma abordagem linguística e busca identificar os movimentos retóricos de resumos de artigos escritos em inglês. Os tópicos foram recebidos aumentando atenção (entre outros, mcknight & Arinivasan, 2003; Shimbo et al., 2003; Ito et al., 2004; 2006 Ruch et al., 2007; Hirohata et al., 2008). Este também inclui nossos trabalhos anteriores (Genovês et al., 2007) que propôs o AZEA (Argumentative Zoning for English Abstracts), um classificador de alta precisão que automaticamente detecta os movimentos retóricos em resumos. O AZEA usa um conjunto de 22 características que foram treinadas usando um corpus de 74 resumos de ciências farmacêuticas. Estes resumos tem sido manualmente anotados de acordo com os seguintes movimentos: (i) contexto, (ii) gap, (iii) propósito, (iv) método, (v) resultado e (vi) conclusão. Estas categorias foram determinados nos movimentos básicos propostos em Hyland(2004:67), Swales(2004:228-238) and Swales & Feak (2009:4). O maior nível de precisão foi de 80.3% foi alcançado usando o Support Vector Machine (Cortes et al., 1995) método para resumos bem estruturados. 
Como outros classificadores de aprendizado de máquina o AZEA é mono-etiquetado, isto é, quando dada uma sentença é dada ela só pode ser etiquetada com uma única etiqueta, na qual pelo menos em princípio deve ser a que mais se destaca. Apenas seja atribuído um único rótulo que, pelo menos em princípio, deve ser o mais saliente. Tal abordagem é totalmente justificável, dado que, em vários rótulos processamento, o sistema precisaria primeiro decidir se a frase deve ser mono ou multi-rotulada. Para o último, haveria as decisões adicionais sobre onde segmentar a frase, bem como quais rótulos de ordem deve aparecer. No entanto, abordagens de etiqueta única têm uma limitação fundamental. Eles não refletem adequadamente uso atual da linguagem. Como Swales (2004: 229) explica, um move "é melhor visto como flexível em termos linguísticos realizações ", uma vez que é" uma unidade funcional, não formal " que pode ser realizada por uma cláusula, uma frase ou mesmo várias frases. 

Este artigo pretende abordar esta questão. Aqui, apresentamos MAZEA (Multi-label Argumentative Zoning for English Abstracts), um classificador multi-rótulo que automaticamente identifica movimentos retóricos em resumos em inglês e permite para que uma dada frase seja atribuída a tantos rótulos quanto apropriado. Embora ainda seja necessário muito trabalho para superar os vários desafios envolvidos neste tipo de Trabalho, nossos resultados iniciais são especialmente promissores. Como veremos em em breve, o MAZEA consegue resultados satisfatórios em termos de decidir se a categorização multi-rótulo aplica-se, se for esse o caso, quais rótulos devem ser atribuído.
O sistema se concentra em dois amplos campos: (i) física Ciências e engenharia (PE) e ciências da vida e da saúde (LH). É composto por dois classificadores independentes que
foram treinados em dois corpus separados, manualmente anotado de acordo com os seis retornos acima mencionados. Nosso corpo de PE contém 645 resumos (144.683 Tokens) e o corpus LH compreende 690 resumos (50,248 tokens). Este é de fato um outro importante contribuição do nosso estudo, dado que existem os classificadores usaram corpos de treinamento de até 100 textos (Por exemplo, Teufel & Moens, 2002; Anthony & Lashkia, 2003; Feltrim et al., 2006; Genovês et al., 2007). Tabela 1 mostra A composição desses dois corpos em termos de Disciplina considerada e número de textos de cada um.



Todos os resumos foram retirados dos trabalhos de pesquisa publicados pelas principais revistas acadêmicas internacionais. A seleção dos textos individuais prosseguiram com base na afiliação dos autores: o primeiro autor ou a maioria dos autores deve estar afiliado a um departamento das disciplinas em questão.
Os resumos que continham duas ou mais disciplinas investigadas aqui foram descartados. Além disso, foi dada preferência aos trabalhos de autores afiliados a universidades em países de língua inglesa. Este artigo apresenta os resultados da nossa tentativa inicial de criar um classificador multi-rótulo para identificar automaticamente movimentos retóricos em abstrações em inglês. Também discutimos as limitações do sistema atual e as diversas questões levantadas ao longo do processo. Outra grande contribuição do nosso estudo é que também disponibilizamos nossos corpos de treinamento publicamente para servir como benchmark para a tarefa.
O restante deste artigo está organizado da seguinte forma. A próxima seção descreve o processo de movimentos retóricos de anotação em todos os resumos. A Seção 3 explica nosso ambiente de trabalho, enumerando as várias ferramentas e algoritmos que selecionamos para executar a tarefa. Os resultados são apresentados na seção 4. Concluímos com uma discussão sobre nossas principais contribuições e as diversas questões que pretendemos abordar em futuros estudos.

Anotação do Corpus

Como nosso principal objetivo era construir um classificador que atribui a quantidade de etiquetas apropriada a uma dada sentença, nosso desafio inicial foi decidir quando e como segmentar frases. Para fazê-lo, aleatoriamente selecionou cinco resumos de cada corpus e usou um analisador para dividir todas as frases em frases pré-posicionais ou cláusulas. Três anotadores humanos foram então convidados atribua independentemente uma das seguintes retóricas move para cada segmento: (i) contexto, (ii) gap, (iii) propósito, (iv) método, (v) resultado, e (vi) conclusão.
No entanto, essa tarefa revelou-se muito mais complexa do que o esperado. A segmentação pré-estabelecida provou bastante ineficiente, dado que, em muitos casos, não combinar com a forma como um anotador humano deseja segure a frase. Este é, portanto, o principal motivo por que abandonamos a ideia de analisar frases. 
Ao mesmo tempo, esta fase inicial forneceu resultados empíricos fundamento para estabelecer as diretrizes a serem adotadas para anota manualmente movimentos retóricos em resumos e portanto, garanta a consistência ao longo do processo. Estas diretrizes basicamente explicam os principais aspectos e características de cada movimento. Muito brevemente, estes podem ser resumido da seguinte forma:

(I) Background: o contexto do estudo, incluindo qualquer referência a trabalhos anteriores sobre o tema, relevância de o tema e principais motivações por trás do estudo;
(ii) Gap: qualquer indicação de que o tópico pesquisado não foi explorado, esse pouco se sabe sobre isso, ou aquele tentativas anteriores de superar um determinado problema ou
Problema não foi bem sucedido;
(iii) Objetivo: os objetivos pretendidos do artigo ou hipóteses apresentadas;
(iv) Método: os procedimentos metodológicos adotados, bem como a descrição dos dados / materiais utilizados em o estudo. Especificações da estrutura do papel são principalmente classificados como métodos, tendo em consideração que se referirá a como o propósito
foi alcançado;
(v) Resultado: principais achados ou, em alguns casos, indicação que os resultados serão descritos ou discutidos; Discussão ou interpretação das descobertas, que inclui qualquer hipótese levantada com base na resultados apresentados no artigo;
(vi) Conclusão: conclusão geral do trabalho; opinião subjetiva sobre os resultados; Sugestões e recomendações para trabalhos futuros.

Quanto às frases que refletem mais de uma mudança, nós decidimos seguir a abordagem de Swales (2004: 229) de perto vê movimentos retóricos tão funcionais quanto do que as unidades gramaticais. Assim, em vez de impor fronteiras sintácticas, optamos por permitir anotadores para decidir se (ou não) e como segmentar sentenças com base em seu próprio julgamento subjetivo.
Em outras palavras, nenhum critério foi estabelecido para determinar onde e como segmentar orações com várias etiquetas. Para trechos que atravessam várias frases, era simplesmente uma questão de repetindo o rótulo sobre todas as frases. Para facilitar o processo de anotação manual, recorremos ao sistema AZEA (Genovês et al., 2007) para marcar automaticamente todos os resumos de ambos os corpos de acordo com os movimentos acima mencionados. Como mencionado mais cedo, o AZEA trabalha no nível da sentença e atribui um rótulo por frase.
O próximo passo foi, então, selecionar aleatoriamente 38 resumos do corpus PE e 34 resumos do corpus LH de modo que a categorização da AZEA possa ser independente validado pelos mesmos três anotadores humanos com base das diretrizes acima mencionadas. Esses números representam 5% do número total de textos incluídos no cada corpus. Neste caso, os resumos foram escolhidos tomando em consideração a proporção de textos de cada um disciplina.
Este processo de validação envolveu a correção de rótulos atribuído erroneamente, bem como erros relacionados à sua má interpretação dos limites das sentenças. Além do que, além do mais, os anotadores também podem atribuir mais de uma etiqueta a um sentenciou quando achou que era apropriado. Aqui é um exemplo de uma frase de rótulo múltiplo:

<Método> Análise bioinformática </ method> <result>
Demonstrou que 7 dos 12 pontos de interrupção combinados entre 3 casos complexos alinhados com sequências repetitivas, como em comparação com 4 dos 30 pontos de interrupção para os 15 casos de exclusão. </result>

O nível de concordância entre os anotadores humanos foi medido pela aplicação das estatísticas Kappa (Carletta, 1996). Este cálculo foi feito no nível da sentença. Aqui, nós avaliamos se os anotadores concordaram nos rótulos atribuídos, bem como na segmentação da frase, se houver. Para frases de rótulos múltiplos, a ordem dos rótulos dentro da frase também foi comparada. No entanto, por causa do simplicidade, não se considerou se os anotadores segmentavam frases exatamente no mesmo ponto. As estatísticas Kappa renderam os seguintes valores: 0.652 (N = 306, k = 3, n = 20) e 0,535 (N = 148, k = 3, n = 18) para os corpos LH e PE, respectivamente. Estes números indicam concordância substancial na anotação do LH Corpus e concordância moderada no corpus PE (Landis & Koch, 1977). 
Em suma, podemos concluir que a classificação das frases multi-rótulos é reprodutível, embora os desentendimentos sejam resolvidos. Assim, depois de discutir as diversas questões levantadas em anotação destes para 38 resumos do corpus PE e 34 resumos do corpus LH, os mesmos três anotadores revisaram as diretrizes acima mencionadas adequadamente. Isto basicamente consistiu em explicar mais alguns aspectos e características fundamentais de cada movimento retórico e fornecer exemplos para pontos discutíveis.
O restante dos resumos dos dois corpos foram então divididos entre cinco anotadores que revisaram a categorização automática de movimentos retóricos da AZEA de acordo com os critérios fornecidos. Estas são precisamente as versões dos corpos que usamos para testar e treinar nossos classificadores multi-rótulos e os mesmos que fizemos publicamente  disponível (ver nota 2).

Ambiente de trabalho

Nossa categorização de classificação de vários rótulos consiste em uma pipeline de várias ferramentas e algoritmos NLP (Figura 1). Na fase de pré-processamento, todos os resumos foram primeiro segmentados, tokenizados e lematizados. Para texto segmentação, tokenização e marcação de Part-of-speech, temos recorreu a OpeNLP (http://opennlp.apache.org/). Palavra a lemmatização foi feita por meio da API do Wordnet (http://sourceforge.net/projects/jwordnet/).

Figura 1


Os dois corpos foram divididos em dois conjuntos de tamanho semelhante ao selecionar aleatoriamente os resumos a serem incluídos em cada um. Em seguida, utilizamos um subcorpus de cada um área para extrair automaticamente expressões fórmicas (combinações recorrentes de palavras), nomeadamente PE-Exp e LH-Exp. As outras duas metades foram usadas para treinar nossos classificadores na fase de aprendizado da máquina e são chamados de Treinamento PE e Treinamento LH. Isto, em outras palavras, significa que as duas subcorporas de que formula as expressões foram extraídas são diferentes das utilizadas na fase de aprendizagem da máquina. Essa divisão foi feita para evitar possíveis vieses nos resultados.

Para detectar expressões de fórmulas, utilizamos o sistema Jbow (Machado Jr., 2009) que os identifica automaticamente com base em vários métodos estatísticos.
O sistema então correlaciona as expressões identificadas com uma (ou mais) das categorias de movimento acima mencionadas: (i) background, (ii) gap, (iii) propósito, (iv) método, (v) resultado e (vi) conclusão . Isso nos permitiu gerar seis recursos, calculados de acordo com dois aspectos principais: (i) a presença de expressões formulaicas determinadas na sentença em análise e (ii) a relação estatística entre essas expressões fórmicas e os rótulos.

Além desses seis recursos lexicais, também selecionamos seis dos 22 recursos usados ​​pela Azea (Genovês et al., 2007). Estes são: (i) posição dentro do texto; (Ii) comprimento; (Iii) primeira expressão fórmica (combinação recorrente de palavras) relacionada ao agente na sentença; (Iv) presença de um verbo modal; (V) tempo do primeiro finito
verbo; (Vi) voz verbal. Uma vez que muitos desses recursos são nominais, eles tiveram que ser convertidos em uma representação binária para que eles pudessem ser processados ​​adequadamente
Na fase de aprendizagem da máquina. O comprimento da frase característica pode servir como um exemplo. Se assumimos que as frases podem ser de tamanho pequeno, médio ou grande, isso nos leva a considerar três recursos binários: small_size, medium_size e tamanho grande. No entanto, apenas um seria considerado verdadeiro para cada sentença.

Assim, os seis primeiros recursos AZEA renderam um total de 46 recursos numéricos. Esses recursos, juntamente com os outros seis gerados pelo sistema JBow, somaram 52 recursos numéricos, que foram usados ​​para treinar nossos classificadores. Na fase de aprendizagem da máquina, os classificadores trabalharam no nível da sentença. Assim, quando associado a mais de um movimento, as orações receberiam vários rótulos. Esta fase foi realizada em duas etapas. Primeiro selecionamos dois algoritmos de aprendizado da biblioteca Mulan3 (Tsoumakas et al., 2010), que adotam várias abordagens para a classificação de vários rótulos. Estes são: (i) Cadeia do Classificador (Read et al. 2009), que processa cada rótulo individual separadamente; E (ii) Rakel (Tsoumakas et al., 2007), que agrupa os rótulos correlacionados.

Uma vez que os algoritmos multi-rótulos funcionam em cima dos monitores, também incorporamos algoritmos mono-label de Weka (Witten & Frank, 2005) em nossos classificadores. Por isso, selecionamos dois bem estabelecidos classificadores de ambos os campos estatísticos (SMO) e simbólicos (J48). SMO foi usado em conjunto com Classifier Chain, enquanto J48 foi combinado com Rakel. Os dois classificadores foram treinados e testados levando em consideração as seguintes medidas:

- LH: neste caso, apenas o corpus LH foi usado. Metade dele (LH-Exp) forneceu os dados dos quais as expressões de fórmulas foram recuperadas, por meio do sistema JBoW. A outra metade (LH-Training) foi usada para testar e treinar os dois classificadores.
- PE: os mesmos procedimentos foram repetidos para o corpus PE. Metade disso (PE-Exp) foi usado para extrair expressões fórmicas e a outra metade (PE-Training) para testar e treinar os dois classificadores.
- Mixed: as expressões de fórmulas foram geradas com base apenas na metade do corpus PE (PE-Exp) e os dois classificadores foram avaliados usando o LH-Training ubcorpus. A ideia era testar se as expressões fórmicas de uma determinada área podem ser estendidas a outra.

Como linhas de base, consideramos o seguinte:

(i) a precisão esperada de um classificador aleatório aplicado a frases de etiqueta única: 16,66%, uma vez que a categorização leva em consideração seis movimentos;
(ii) o movimento (método) mais freqüente em uma classificação mono-label para os dois corpetes em conjunto: 33,7%. Como gold-pattern, consideramos o kappa entre anotadores humanos.

No âmbito da análise atual, o primeiro ponto a ser feito é que a grande maioria das frases dos resumos ingleses reflete um único movimento retórico. As frases de rótulo múltiplo representaram 16,5% de todas as frases de LH (1.082 de 6.544) e 11,3% de todas as frases de PE (445 de 3.933).
No que diz respeito à tarefa de categorização de vários rótulos, os resultados do método Classifier Chain + SMO foram ligeiramente melhores que os do Rakel + J48. As Figuras 2 e 3 mostram os valores resultantes para a precisão, micro-precisão e perda de hamming para os dois métodos empregados neste estudo.
Neste estudo optamos pela precisão baseada em exemplos do Mulan, que é uma extensão da precisão clássica e, na nossa opinião, mais adequada para o cenário de vários rótulos. Nesse caso, o número de rótulos corretamente atribuídos é avaliado em relação ao número total de rótulos previstos. Isso, portanto, nos permite estimar a chance de que um determinado rótulo previsto tenha que ser exato. Por exemplo, se o sistema sugere três rótulos para um determinado segmento (uma frase completa ou parte dele) e apenas um está correto, a medida de precisão para essa instância particular é de 0,33. Assim, para o corpus LH, o classificador Chain + SMO (Figura 2) tem 69% de chance de atribuir a etiqueta correta a uma determinada frase ou parte dela.
Sob essa perspectiva, quanto maior o número de rótulos dentro de uma determinada sentença, menor será a chance de identificar automaticamente todos os rótulos corretamente. Isto é principalmente porque a chance de selecionar o rótulo correto (c) é estimada de acordo com o número de rótulos associados à sentença (cn). Se a chance de selecionar corretamente um único rótulo é de 60%, a chance de selecionar duas etiquetas corretamente é de 36% (0,6 * 0,6). Em nossa implementação, as frases podem receber até seis etiquetas, incluindo "não rótulo "para os casos em que o classificador não pode decidir
Em qual categoria o segmento se refere (0 ≤ n ≤ 6).

Figura 2

Figura 3

Como pode ser visto nas Figuras 2 e 3, a precisão resultante foi significativamente maior do que as nossas linhas de referência - 0.1666 para classificação aleatória e 0.337 quando o movimento (método) mais freqüente é atribuído - independentemente do método adotado. Precisão ideal e micro-precisão são maiores, enquanto a perda de hamming é menor.
Também descobrimos que, para ambos os métodos, o desempenho foi marginalmente pior para o PE em comparação com o corpus LH. Isso está em linha com os valores de kappa medidos para cada corpus, uma vez que o acordo entre os anotadores era menor para o corpus PE. Como esperado, os resultados da mistura não são tão bons quanto os LH. Isto é principalmente porque, para o primeiro, os dois classificadores foram treinados sobre o corpus LH usando expressões de fórmula PE. O classificador que melhorou (Cadeia + SMO) também foi avaliado em relação aos valores de kappa obtidos comparando a anotação humana (0,652 (N = 306, k = 3, n = 20) para o corpus LH e 0,535 (N = 148, K = 3, n = 18) para o corpus PE, veja a seção 2 para detalhes). Para os classificadores Chain + SMO, a análise kappa produziu os seguintes valores: 0,567 (N = 306, k = 4, n = 20) e 0,409 (N = 148, k = 4, n = 18) para o corpus LH e PE respectivamente. Consideramos esses resultados como razoavelmente satisfatórios, dado que eles são bastante próximos do gold standart. Um aplicativo de demonstração on-line da Web de nossos dois classificadores de Cadeia + SMO, um para cada área (veja a nota de rodapé 2 para o endereço do site). Para obter o máximo desempenho, o PE-Exp e a subcorpora PE-Training serviram como corpos de treinamento para desenvolver o classificador PE, enquanto as coleções LH-Exp e LH-Training foram usadas para treinar o Classificador LH.


Conclusão

Este artigo apresentou os resultados de nossa tentativa inicial de desenvolver dois sistemas de aprendizado de máquina para identificar automaticamente movimentos retóricos em resumos de inglês de (i) ciências físicas e engenharia e (ii) de ciências da vida e da saúde. Além disso, esperava-se que os sistemas atribuíssem tantos rótulos quanto apropriados sempre que uma determinada frase refletisse mais de um movimento retórico. Nosso classificador multi-rótulo - MAZEA - produziu resultados encorajadores ao decidir se uma determinada frase deveria ser segmentada e quais rótulos deveriam ser atribuído.
No entanto, ainda há margem para melhorias. Para começar, para as frases de rótulo múltiplo, os sistemas ainda não conseguem indicar a ordem correta. Mais importante, nosso desafio inicial de como segmentar automaticamente as frases de acordo com movimentos retóricos permanece sem resposta. Em estudos futuros, também pretendemos trabalhar para melhorar o desempenho de nossos classificadores, definindo novos recursos e explorando diferentes abordagens. Também seria particularmente útil investigar ainda mais as regularidades subjacentes no padrão lexical e gramatical de movimentos retóricos em abstrações inglesas. Benefícios adicionais também podem ser obtidos através da melhoria do acordo humano sobre a tarefa e, portanto, aprimorando nossas diretrizes de anotação.
Levando em consideração que este estudo é, no melhor de nosso conhecimento, a primeira tentativa de construir um classificador de frases com vários rótulos, concluímos que o desempenho geral do nosso sistema é particularmente significativo. Este é em si um grande contributo dado que esses classificadores podem efetivamente melhorar o desempenho de ferramentas de processamento de linguagem natural dependentes do domínio. Eles também são um recurso inestimável para linguistas que desejam basear seus estudos em corpos grandes, acelerando a árdua tarefa de identificar e anotar movimentos. Por último, mas não menos importante, também é importante ressaltar que nossos corpos de treinamento são muito maiores que os usados ​​por estudos relacionados anteriores e foram disponibilizados publicamente para outros pesquisadores.

Referências

Anthony, L., Lashkia, G. (2003). Mover: A machine learning tool to assist in the reading and writing of technical papers. IEEE Transactions on Professional Communication, 46(3), pp.185--193.

Carletta, J. (1996). Assessing Agreement on Classification Tasks: The Kappa Statistic. Computational Linguistics, vol. 22, n. 2, pp. 249--254. 

Cortes, Corinna, Vapnik, Vladimir N. (1995). Support-Vector Networks, Machine Learning, 20. Feltrim, V. D.; Teufel, S.; Nunes, M. G. V. and Aluísio, S.M. (2006). Argumentative zoning applied to critiquing novices' scientific abstracts. Computing Attitude and Affect in Text: Theory and Applications. The Information Retrieval Series, 2006, Volume 20, pp.
233--246.

Genovês Jr., L.; Feltrim, V.D.; Dayrell, C. and Aluísio, S. (2007). Automatically detecting schematic structure components of English abstracts. In Proceedings of the RANLP´2007, Workshop on Natural Language Processing for Educational Resources. Borovets, Bulgaria, pp. 23--29.

Hirohata, K.; Okazaki, N.; Ananiadou, S. and Ishizuka, M. (2008). Identifying sections in scientific abstracts using conditional random fields. In Proceedings of the 3rd International Joint Conference on Natural Language Processing (IJCNLP 2008). Asian Federation of
Natural Language Processing, pp. 381--388.

Hyland, K. (2004). Disciplinary Discourses. Michigan: The University of Michigan Press.
Ito, T.; Simbo, M.; Yamasaki, T. and Matsumoto, Y. (2004). Semi-supervised sentence classification for medline documents. In IPSJ SIG Technical Report, v. 2004-ICS-138, pp. 141--146.

Lafferty, J.; McCallum, A. and Pereira, F (2001). Conditional random Fields: Probabilistic models for segmenting and labelling sequence data. In Proceedings of the International Conference on Machine learning (ICML), Williams College, Williamstown, MA, USA, Morgan Kaufmann, pp. 282--289.

Landis, J. R. , Koch, G. G (1977). The measurement of observer agreement for categorical data. Biometrics, v. 33, pp. 159--174.

Lin, J.; Karakos, D.; Demner-fushman, D. and Khudanpur,S. (2006). Generative content models for structural analysis of medical abstracts. In Proceedings of the HLT/NAACL 2006 Workshop on Biomedical Natural Language Processing (BioNLP’06), Association for Computational Linguistics (ACL), pp. 65--72.

Machado Jr., D. (2009). Extração Automática de Expressões Indicativas para a Classificação de Textos Científicos. In Proceedings of The 7th Brazilian Symposium in Information and Human Language Technology, I TILIC, 2009 (In Portuguese).

McKnight, L., Arinivasan, P. (2003). Categorization of sentence types in medical abstracts. In AMIA 2003 Symposium Proceedings, American Medical Informatics Association, pp. 440--444.

Pendar, N. , Cotos, E. (2008). Automatic Identification of Discourse Moves in Scientific Article Introductions. In Proceedings of The Third Workshop on Innovative Use
of NLP for Building Educational Applications, Association for Computational Linguistics (ACL), pp. 62-70.

Read, J.; Pfahringer, B.; Holmes, G. and Frank, E., (2009). Classifier Chains for Multi-label Classification. In Proceedings of the Machine Learning and Knowledge Discovery in Databases, Proceedings, Part II, Lecture Notes in Computer Science, Vol. 5782, Subseries:
Lecture Notes in Artificial Intelligence, 

Buntine, W.; Grobelnik, M.; Mladenic, D.; Shawe-Taylor, J. (Eds.), pp. 254--269. Ruch, P.; Boyer, C.; Chichester, C.; Tbahriti, I.; Geissbuhler, A.; Fabry, P.; Gobeill, J.; Pillet, V.; Rebholz-Schuhmann, D.; Lovis, C. and Veuthey, A. L. (2007). Using argumentation to extract key sentences from biomedical abstracts. International Journal of Medical Informatics, v. 76, pp. 195--200.

Shimbo, M.; Yamasaki, T. and Matsumoto, Y. (2003). Using sectioning information for text retrieval: a case study with the medline abstracts. In Proceedings of the 2nd International Workshop on Active Mining (AM’03), Maebashi, Japan; 2003 , pp. 32--41.

Swales, J. (2004). Research Genres: Exploration and applications. Cambridge University Press, Cambridge. 

Swales J. M. and Feak, C. B. (2009). Abstracts and the Writing of Abstracts. Michigan: University of Michigan Press.

Teufel, S., Moens, M. (2002). Summarising scientific articles experiments with relevance and rhetorical status. Computational Linguistics 28 (4), pp. 409--446. 

Tsoumakas, G., Vlahavas, I. (2007). Random k-Labelsets: An Ensemble Method for Multilabel Classification, In Proceedings of the 18th European Conference on Machine Learning (ECML 2007), Lecture Notes in Artificial Intelligence 4701, Joost N. Kok, Jacek
Koronacki, Ramon Lopez de Mantaras, Stan Matwin, Dunja Mladenic (Eds), pp. 406--417.

Tsoumakas, G.; Katakis, I. and Vlahavas, I. (2010). Mining Multi-label Data. Data Mining and Knowledge Discovery Handbook, O. Maimon, L. Rokach (Ed.), Springer, 2nd edition,.

Witten, I. H., Frank, E. (2005). Data mining: practical machine learning tools and techniques. 2nd ed. San Francisco: Morgan Kaufmann. 

Wu, J.; Chang, Y.; Liou, H. and Chang, J. S. (2006). Computational analysis of move structures in academic abstracts. In Proceedings of the COLING/ACL 2006 Interactive Presentation Sessions, pp. 41--44.

Yamamoto, Y., Takagi, T. (2005). A sentence classification system for multi-document
summarization in the biomedical domain. In Proceedings of the 21st International Conference on Data Engineering Workshops (ICDEW'05), IEEE Computer Society Washington, DC, USA, pp. 90--95.
[Artigo] [PLN#11] MAZEA - Multi-label Sentence Classifiers and their Anotated Corpora [Artigo] [PLN#11]  MAZEA - Multi-label Sentence Classifiers and their Anotated Corpora Reviewed by Vinicius dos Santos on 09:52:00 Rating: 5

Nenhum comentário

Escreve ai sua opinião!