• Login

Mathias Grimm - beta

Sede pelo conhecimento

• Home
• Sobre

C++ X PHP X PYTHON X PERL X SHELL SCRIPT

Posted by Mathias Grimm on dezembro 23, 2008 in C/C++, PERL, PHP, Python, Shell Script

Bom dia.

Nesse artigo pretendo demonstrar um programa de conversão de csv para xml, escrito nas linguagens C++,PHP,PYTHON,PERL e SHELL SCRIPT. O Comparativo é basicamente em relação ao desempenho e a quantidade de linhas de código.

A idéia surgiu pois outro dia fui contratado (freela) pra fazer esse conversor, para um colega. Fiz inicialmente em Shell Script, pois foi a linguagem solicitada por esse colega, e o arquivo csv original tinha mais ou menos 2500 linhas, o que fica rápido em qualquer umas das linguagens que testei. Algum tempo depois resolvi fazer em python e depois pensei em fazer esse comparativo, pois a diferença foi brutal entre python e shell script.

O TESTE:

Tentei utilizar elementos comuns a todas linguagens, mas nem tudo ficou igual.
Já queria agradecer ao meu amigo e colega de trabalho, Vasco , que desenvolveu o código em C++.

Para calcular o tempo de execução utilizei o time, comando disponível para linux, que mede o tempo de execução de programas, desde o tempo de ativação até o fim de sua execução. Executei cada programa 5 vezes para obter o tempo médio de execução.

Nos testes utilizei um arquivo csv com 100000 linhas (cem mil linhas)

Segue abaixo o código dos programas.

C++:

#include <iostream>
#include <sstream>
#include <string>
#include <time.h>
#include <iomanip>
 
using namespace std;
 
FILE * fp;
int i;
string fields[9];
 
string intToStr(int number)
{
	std::stringstream ss;
	std::string str;
	ss << number;
	ss >> str;
	return ss.str();
}
 
void init()
{
    fp = fopen("xml_from_c_plus_plus.xml", "w");
    i = 1;
}
 
void _end()
{
    fclose(fp);
}
 
void parseString(string line)
{
    int f   = 0;
    int pos = 0;
    size_t found;
 
    found=0;
    while(found != string::npos)
    {
    	found       = line.find("," , pos);
    	fields[f++] = line.substr(pos, found - pos);
    	pos         = found+1;
    }
}
 
void xmlHeader()
{
    string xmlString;
    xmlString = "\n
\n";
    fputs(xmlString.c_str(), fp);
}
 
void xmlFooter()
{
    string xmlString;
    xmlString = "";
    fputs(xmlString.c_str(), fp);
}
 
void xmlBody()
{
    string xmlString;
 
    xmlString.append("\n");
    xmlString.append("");
    xmlString.append(fields[1]);
    xmlString.append("\n");
    xmlString.append("");
    xmlString.append(fields[0]);
    xmlString.append("\n");
    xmlString.append("");
    xmlString.append(fields[3]);
    xmlString.append("\n");
    xmlString.append("");
    xmlString.append(fields[5]);
    xmlString.append("\n");
    xmlString.append("
");
    xmlString.append("");
    xmlString.append(fields[4]);
    xmlString.append("\n");
    xmlString.append("\n");
    xmlString.append("\n");
    fputs(xmlString.c_str(), fp);
 
    i++;
}
 
void csv2xml()
{
    xmlHeader();
    FILE * fpo;
    char buffer[1024];
 
    fpo = fopen("mathiasgrimm.csv", "r");
 
    while(fgets(buffer, sizeof(buffer), fpo) != 0)
    {
	parseString(buffer);
	xmlBody();
    }
 
    xmlFooter();
    fclose(fpo);
}
 
int main( int argc, char ** argv )
{
    init();
    csv2xml();
    _end();
}

PYTHON:

def init():
    global i
    global f
    f=open("xml_from_python.xml","w")
    i=1
 
def end():
    f.close()
 
def parseString(string):
    return string.split(",")
 
def xmlHeader():
    global f
 
    xmlString = "<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n
<prematricula centro=\"224\">\n"
    f.write(xmlString)
 
def xmlFooter():
    global f
 
    xmlString = "</prematricula>"
    f.write(xmlString)
 
def xmlBody(fields):
    global i
    global f
 
    alumnoOpenNode    = "%s%s%s"%("    <alumno id=\"ave_" ,i         ,"\">\n"        )
    nombreNode        = "%s%s%s"%("        <nombre>"      ,fields[1],"</nombre\n"   )
    apelidoNode       = "%s%s%s"%("        <apelido>"     ,fields[0],"</apelido>\n" )
    emailNode         = "%s%s%s"%("        <email>"       ,fields[3],"</email>\n"   )
    sexoNode          = "%s%s%s"%("        <sexo>"        ,fields[5],"</sexo>\n"    )
    licenciaOpenNode  = "
<licencia>\n"
    grupoNode         = "%s%s%s"%("            <grupo>"   ,fields[4],"</grupo>\n"   )
    licenciaCloseNode = "        </licencia>\n"
    alumnoClseNode    = "    </alumno>\n"
 
    xmlString ="%s%s%s%s%s%s%s%s%s"%(alumnoOpenNode,nombreNode,apelidoNode,emailNode,sexoNode,licenciaOpenNode,grupoNode,licenciaCloseNode,alumnoClseNode)
    f.write(xmlString);
    i+=1
 
def csv2xml():
    xmlHeader()
 
    for line in open('mathiasgrimm.csv').xreadlines():
           fields = parseString(line)
           xmlBody(fields)
 
    xmlFooter()
 
init()
csv2xml()
end()

PERL:

sub init
{
    $i=1;
    open(f,">xml_from_perl.xml");
}
 
sub end
{
    close(f);
}
 
sub parseString
{
    local($string) = @_;
    return split(/\,/,$string);
}
 
sub xmlHeader
{
    local($xmlString) = "<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n
<prematricula centro=\"224\">\n";
    print f $xmlString;
}
 
sub xmlFooter
{
    local($xmlString) = "</prematricula>";
    print f $xmlString;
}
 
sub xmlBody
{
    local(@fields) = @_;
 
    $alumnoOpenNode    = sprintf("%s%s%s","    <alumno id=\"ave_" ,$i         ,"\">\n"        );
    $nombreNode        = sprintf("%s%s%s","        <nombre>"      ,@fields[1],"</nombre>\n"   );
    $apelidoNode       = sprintf("%s%s%s","        <apelido>"     ,@fields[0],"</apelido>\n" );
    $emailNode         = sprintf("%s%s%s","        <email>"       ,@fields[3],"</email>\n"   );
    $sexoNode          = sprintf("%s%s%s","        <sexo>"        ,@fields[5] ,"</sexo>\n"    );
    $licenciaOpenNode  = "
<licencia>\n";
    $grupoNode         = sprintf("%s%s%s","            <grupo>"   ,@fields[4] ,"</grupo>\n"   );
    $licenciaCloseNode = "        </licencia>\n";
    $alumnoClseNode    = "    </alumno>\n";
 
    $xmlString =sprintf("%s%s%s%s%s%s%s%s%s",$alumnoOpenNode,$nombreNode,$apelidoNode,$emailNode,$sexoNode,$licenciaOpenNode,$grupoNode,$licenciaCloseNode,$alumnoClseNode);
    print f $xmlString;
    $i++;
}
 
sub csv2xml
{
    xmlHeader();
    open(csv,"
<mathiasgrimm.csv");
 
    while ( ($linha = <csv>) )
    {
        local(@fields) = parseString($linha);
        xmlBody(@fields);
    }
 
    close(csv);
 
    xmlFooter();
}
 
init();
csv2xml();
end();

PHP-CLI:

 
<?php
function init()
{
    global $i;
    global $f;
    $f=fopen("xml_from_php.xml","w");
    $i=1;
}
 
function _end()
{
    global $f;
    fclose($f);
}
 
function parseString($string)
{
    return explode(",",$string);
}
 
function xmlHeader()
{
    global $f;
 
    $xmlString = "<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n
<prematricula centro=\"224\">\n";
    fwrite($f,$xmlString);
}
 
function xmlFooter()
{
    global $f;
 
    $xmlString = "</prematricula>";
    fwrite($f,$xmlString);
}
 
function xmlBody($fields)
{
    global $i;
    global $f;
 
    $alumnoOpenNode    = sprintf("%s%s%s","    <alumno id=\"ave_" ,$i         ,"\">\n"        );
    $nombreNode        = sprintf("%s%s%s","        <nombre>"      ,$fields[1] ,"</nombre\n"   );
    $apelidoNode       = sprintf("%s%s%s","        <apelido>"     ,$fields[0] ,"</apelido>\n" );
    $emailNode         = sprintf("%s%s%s","        <email>"       ,$fields[3] ,"</email>\n"   );
    $sexoNode          = sprintf("%s%s%s","        <sexo>"        ,$fields[5] ,"</sexo>\n"    );
    $licenciaOpenNode  = "
<licencia>\n";
    $grupoNode         = sprintf("%s%s%s","            <grupo>"   ,$fields[4] ,"</grupo>\n"   );
    $licenciaCloseNode = "        </licencia>\n";
    $alumnoClseNode    = "    </alumno>\n";
 
    $xmlString =sprintf("%s%s%s%s%s%s%s%s%s",$alumnoOpenNode,$nombreNode,$apelidoNode,$emailNode,$sexoNode,$licenciaOpenNode,$grupoNode,$licenciaCloseNode,$alumnoClseNode);
    fwrite($f,$xmlString);
    $i++;
}
 
function csv2xml()
{
    xmlHeader();
    $fp = fopen('mathiasgrimm.csv','r');
 
    while($linha = fgets($fp))
    {
    	$fields = parseString($linha);
        xmlBody($fields);
    }
 
    xmlFooter();
}
 
init();
csv2xml();
_end();
?>

SHELL SCRIPT:

#!/bin/bash
init()
{
    f='xml_from_shell.xml'
    i=1
}
 
parseString()
{
    fields[0]=`echo $linha|awk -F, '{ print $1 }'`
    fields[1]=`echo $linha|awk -F, '{ print $2 }'`
    fields[2]=`echo $linha|awk -F, '{ print $3 }'`
    fields[3]=`echo $linha|awk -F, '{ print $4 }'`
    fields[4]=`echo $linha|awk -F, '{ print $5 }'`
    fields[5]=`echo $linha|awk -F, '{ print $6 }'`
}
 
xmlHeader()
{
    echo "<?xml version=\"1.0\" encoding=\"UTF-8\"?>"    > $f
    echo "
<prematricula centro=\"224\">"		>> $f
}
 
xmlFooter()
{
    xmlString="</prematricula>";
    echo $xmlString >> $f
}
 
xmlBody()
{
    echo "    <alumno id=\"ave_$id\">"			 >> $f
    echo "        <nombre>"${fields[1]}"</nombre>"	 >> $f
    echo "        <apellido1>"${fields[0]}"</apellido1>" >> $f
    echo "        <email>"${fields[3]}"</email>"         >> $f
    echo "        <sexo>"${fields[5]}"</sexo>"           >> $f
    echo "
<licencia>"                            >> $f
    echo "            <grupo>"${fields[4]}"</grupo>"     >> $f
    echo "        </licencia>"				 >> $f
    echo "    </alumno>"				 >> $f
 
    id=`expr $id + 1`
}
 
csv2xml()
{
   xmlHeader
 
   while read linhaAtual
   do
       linha=$linhaAtual
       parseString
       xmlBody
   done < 'mathiasgrimm.csv'
 
   xmlFooter
}
 
init
csv2xml

Bom... agora vou mostrar o tempo de execução de cada linguagem.

C++:

PYTHON:

PERL:

PHP-CLI:

SHELL SCRIPT:

Tempo de execução muito alto. Não foi possivel esperar o tempo necessário ao processamento de todo arquivo.
Realizei uma medição proporcional, deixei o script rodar por 2 minutos e utilizei o total de linhas processadas para esse cálculo.

CONCLUSÃO:

C++ foi o mais rápido, SHELL SCRIPT o mais lento

PYTHON foi o menor script em quantidade de linhas, C++ o maior

Perceba que python teve um diferença bem menor que as demais linguagens, e tem o código menor. Para esse conversor, especificamente, acredito que seria a melhor opção levando em conta a facilidade de escrever em python (o que pode variar de pessoa pra pessoa).

Mas essa avaliação deve ser feita individualmente para seu objetivo, ou seja, se seu objetivo é um código rápido, utilize c++, caso o objetivo seja escrever menos, independente da linguagem, utilize python.

O objetivo do artigo era mostrar algum comparativo entre as linguagens, mas isso poderia ser feito de muitas meneiras diferentes da utilizada no artigo.

Clique AQUI para baixar os arquivos utilizados nesse artigo.

Desculpe-me por algum equívoco ou falta de precisão.

Agradeço a visita de todos e voltem sempre!