快速服务器上的RSS订阅实现

Posted 2021-04-08

我正在建立一个订阅RSS源的node.js服务器。当一个新项目发布到feed时，我希望服务器解析该信息并将其传递给API，该API将提醒最终用户。我可以使用feedparser作为我的订阅者吗？

据我所知，这个库创建了一个触发动作的EventEmitter。是否可以导出此功能并使其与我的Express应用程序并行运行？

取自解析器示例：

const FeedParser = require('feedparser')
const request = require('request')

const subscriber = async () => {
  const req = request('https://www.reddit.com/.rss')
  const feedparser = new FeedParser()
  req.on('error', (error) => {
    console.log(error)
  })
  req.on('response', (r) => {
    const stream = this
    if (r.statusCode !== 200) {
      this.emit('error', new Error('bad status code'))
    } else {
      stream.pipe(feedparser)
    }
  })
  feedparser.on('readable', () => {
    // This is where the action is!
    const stream = this
    var item = ''
    while (item = stream.read()) {
      console.log(item)
    }
  })
  return feedparser
}

module.exports = {
   subscriber
 }

当我调用此函数时，我希望控制台能够记录新项目，但我没有收到任何项目。原因尚不清楚。

奖金问题：我是否可以验证订阅是否有效而无需等待新项目发布？是否有可以模拟行为的RSS工具或网站？

答案

我学到了很多东西：

1. RSS源不发送信息。如果要订阅一个，则需要在一个时间间隔内发出请求并解析新信息：Subscribe to an RSS Feed
2. 任何不需要处理传入请求的功能可能不需要在Express中间件中使用，您可以在启动HTTP服务器之前/之后立即启动RSS订阅间隔：

var app = require('../app');
var http = require('http');
var port = normalizePort(process.env.PORT || '3000');
app.set('port', port);

/**
 * Create HTTP server.
 */

var server = http.createServer(app);
/**
 * Listen on provided port, on all network interfaces.
 */

server.listen(port);
server.on('error', onError);
server.on('listening', onListening);
/**
 * Start the subscriber
 */
var feed = new RssFeed({your rss feed url}, 60000); // 60000 = 60 second refresh rate
feed.start();

还包括我的实现的不完整片段：

const Parser = require('rss-parser')
class RssSubscriber extends Parser {
  constructor (url, interval) {
    super()
    this.url = url
    this.interval = interval
    this.latestPublishTime = null
  }
  start () {
    // execute on an interval
    setInterval(async () => {
      try {
        console.log('Fetching feed...')
        const news = await this.parseFeed()
        await Promise.all(news.map(n => { return this.alert(n) }))
      } catch (err) {
        console.log('WARN: Error Encountered when fetching subscription items.')
      }
    }, this.interval)
  }