我如何将这些函数与 Promise 链接在一起？

Posted 2023-03-08

【中文标题】我如何将这些函数与 Promise 链接在一起？

【英文标题】：How can I chain these functions together with promises?

【发布时间】：2017-02-01 06:12:16

【问题描述】：

这是一个从 tshirt 网站中抓取数据，然后将产品信息写入 CSV 文件的程序。

有3个scrape函数和1个write函数。

现在，我正做着一场噩梦，试图弄清楚如何在没有任何 3rd 方库或包的情况下在这里实现 Promise。仅使用 ES6 的原生特性是否可以做到这一点？

由于请求的异步性质，我需要在调用下一个函数之前完全完成每个函数及其请求。这样我就可以在下一个函数中使用urlSet 等变量。

如何在不重写整个代码的情况下简单地做到这一点？

我应该提到，这些功能中的每一个都是单独工作的，它们都经过了多次测试。

每个函数都成为一个单独的承诺吗？

代码如下，谢谢：

//TASK: Create a command line application that goes to an ecommerce site to get the latest prices.
    //Save the scraped data in a spreadsheet (CSV format).

'use strict';

//Modules being used:
var cheerio = require('cheerio');
var json2csv = require('json2csv');
var request = require('request');
var moment = require('moment');
var fs = require('fs');

//harcoded url
var url = 'http://shirts4mike.com/';

//url for tshirt pages
var urlSet = new Set();

var remainder;
var tshirtArray = [];


// First scrape loads front page of shirts4mike and finds the first product pages/menus
function firstScrape()
    request(url, function(error, response, html) 
        if(!error && response.statusCode == 200)
            var $ = cheerio.load(html);

        //iterate over links with 'shirt'
            $('a[href*=shirt]').each(function()
                var a = $(this).attr('href');

                //create new link
                var scrapeLink = url + a;

                //for each new link, go in and find out if there is a submit button. 
                //If there, add it to the set
                request(scrapeLink, function(error,response, html)
                    if(!error && response.statusCode == 200) 
                        var $ = cheerio.load(html);

                        //if page has a submit it must be a product page
                        if($('[type=submit]').length !== 0)

                            //add page to set
                            urlSet.add(scrapeLink);
                         else if(remainder == undefined) 
                            //if not a product page, add it to remainder so it another scrape can be performed.
                            remainder = scrapeLink;                         
                        
                    
                );
            );     
        
    );



//Scrape next level of menus to find remaning product pages to add to urlSet
function secondScrape() 
    request(remainder, function(error, response, html) 
        if(!error && response.statusCode == 200)
            var $ = cheerio.load(html);

            $('a[href*=shirt]').each(function()
                var a = $(this).attr('href');

                //create new link
                var scrapeLink = url + a;

                request(scrapeLink, function(error,response, html)
                    if(!error && response.statusCode == 200)

                        var $ = cheerio.load(html);

                        //collect remaining product pages and add to set
                        if($('[type=submit]').length !== 0)
                            urlSet.add(scrapeLink);
                        
                    
                );
            );     
        
    );



//call lastScraper so we can grab data from the set (product pages)
function lastScraper()
    //scrape set, product pages
    for(var item of urlSet)
        var url = item;

        request(url, function(error, response, html)
            if(!error && response.statusCode == 200)
                var $ = cheerio.load(html);

                //grab data and store as variables
                var price = $('.price').text();
                var imgURL = $('.shirt-picture').find('img').attr('src');
                var title = $('body').find('.shirt-details > h1').text().slice(4);

                var tshirtObject = ;
                //add values into tshirt object
                tshirtObject.Title = title;
                tshirtObject.Price = price;
                tshirtObject.ImageURL = imgURL;
                tshirtObject.URL = url;
                tshirtObject.Date = moment().format('MMMM Do YYYY, h:mm:ss a');

                //add the object into the array of tshirts
                tshirtArray.push(tshirtObject);
            
        );
    



//Convert array of tshirt objects and write to CSV file
function convertJson2Csv()
    //The scraper should generate a folder called `data` if it doesn’t exist.
    var dir ='./data';
    if(!fs.existsSync(dir))
        fs.mkdirSync(dir);
    

    var fields = ['Title', 'Price', 'ImageURL', 'URL', 'Date'];

    //convert tshirt data into CSV and pass in fields
    var csv = json2csv( data: tshirtArray, fields: fields );

    //Name of file will be the date
    var fileDate = moment().format('MM-DD-YY');
    var fileName = dir + '/' + fileDate + '.csv';

    //Write file
    fs.writeFile(fileName, csv, overwrite: true, function(err) 
        console.log('file saved');
        if (err) throw err;
    );

【问题讨论】：

这个问题和你的earlier question有什么不同？

【参考方案1】：

如果您想用 Promise 链接这些函数，那么它们必须返回 Promise。

如果你想用async 模块链接它们，那么它们必须接受回调作为参数。

现在它们既不返回承诺（或其他任何东西），也不会将回调（或其他任何东西）作为参数。如果该函数不接受回调并且不返回任何内容，那么您所能做的就是调用它，仅此而已。任何结果都不会通知您。

示例

回调

如果你有 3 个接受回调的函数：

function fun1(cb) 
  setTimeout(() => 
    cb(null, "fun1");
  , 1000);

function fun2(cb) 
  setTimeout(() => 
    cb(null, "fun2");
  , 3000);

function fun3(cb) 
  setTimeout(() => 
    cb(null, "fun3");
  , 100);

然后你可以知道他们什么时候完成：

fun3((err, value) => 
  console.log('fun3 finished:', value);
);

您可以轻松地等待一个，然后再开始另一个：

fun1((err1, val1) => 
  fun2((err2, val2) => 
    console.log("fun1 + fun2:", val1, val2);
  );
);

承诺

如果你的函数返回承诺：

function fun1() 
  return new Promise((res, rej) => 
    setTimeout(() => 
      res("fun1");
    , 1000);
  );

function fun2() 
  return new Promise((res, rej) => 
    setTimeout(() => 
      res("fun2");
    , 3000);
  );

function fun3() 
  return new Promise((res, rej) => 
    setTimeout(() => 
      res("fun3");
    , 100);
  );

那么你也可以知道他们什么时候完成：

fun3().then(value => 
  console.log('fun3 finished:', value);
);

您还可以轻松嵌套调用：

fun1().then(val1 => 
  fun2().then(val2 => 
    console.log("fun1 + fun2:", val1, val2);
  );
);

或者：

fun1()
.then(val1 => fun2())
.then(val2 => fun3())
.then(val3 => console.log('All 3 finished in series'));

等等

要同时使用这两种样式，请参阅以下文档：

http://caolan.github.io/async/ http://bluebirdjs.com/docs/getting-started.html https://developer.mozilla.org/en/docs/Web/javascript/Reference/Global_Objects/Promise